Ошибка при построении модели нейронной сети на TF-IDF и Sklearn

Question

Пытаюсь обучить нейронную сеть определять цену квартиры в зависимости от ее описания. В csv для тренировки 300.000 квартир с ценами. Засовываю все описания в единую строку, чтобы потом применить метод TF-IDF, определяющий важность каждого слова в таргете.

И уже на этапе формирования этой большой строки выпадает ошибка:

Your notebook tried to allocate more memory than is available. It has restarted.

Пробовал и с GPU и с TPU на Colab Google - не помогает.

Answer 1

Помогло последовательное считывание файла датасета:

train = pd.DataFrame()
counter = 1
for num in pd.read_csv('train.csv', chunksize=1000000, low_memory=False):
    print('Reading {}'.format(counter))
    train = pd.concat([train, num], ignore_index=True)
    counter += 1

Работает и на Kaggle и в Colab- ошибка, связанная с переполнением памяти, не появляется. Может быть, кому-то пригодится.

БЛОГ НА HUSL

Ошибка при построении модели нейронной сети на TF-IDF и Sklearn

Ответы (1 шт):