Как скачать датасет с kaggle?

Как скачать датасет с kaggle? Есть датасет в 5ГБ, целиком его скачать для меня проблематично. Как скачать его не целиком а только какое-то количество строк из него?

Пробовал через kaggle kernels такой вариант:

example_test = pd.DataFrame()
lectures = pd.DataFrame()
example_sample_submission = pd.DataFrame()
questions = pd.DataFrame()
train = pd.DataFrame()

dataFrames = [example_test, lectures, example_sample_submission, questions, train]

import os
for dirname, _, filenames in os.walk('/kaggle/input'):
    for filename, nameDataFrames in zip(filenames, dataFrames):
        nameDataFrames = pd.read_csv(os.path.join(dirname, filename))
        print(os.path.join(dirname, filename))
        print(nameDataFrames)

example_sample_submission.to_csv(r'C:\Users\Lenovo\Downloads\example_sample_submission')

Код проходит без ошибок, но файл на моей машине так и не появляется.

Ещё думал воспользоваться read_csv(), но не смог понять как заполучить ссылку на датасет. Через раздел Data, тыкаю на значок скачивания правой кнопкой мыши и там нет пункта "копировать адрес ссылки". Через kaggle kernels можно копировать конец пути по которому расположен файл, но какое начало я так и не понял.


Ответы (1 шт):

Автор решения: Ivan

Я пользуюсь бесплатной версией google.colab, если есть проблемы с утройством, то советую пользоваться им, там до 25 гб облака и возможность обучать на GPU.

С помощью команд в терминале (с Windows будет тяжко) наборы данных скачиваются с помощью kaggle.api для этого нужно создать аккаунт на kaggle, скачать токен, зайти на страничку соревнования или датасета, скопировать команду по примеру !kaggle competitions download -c competition-name. Для того чтобы скачать конкретные файлы нужно использовать флаг для команды -f. Подробное описание kaggle.api https://github.com/Kaggle/kaggle-api#competitions

→ Ссылка