Как разбить .txt файл на обучающую и тестовую выборки (80/20)?
Подскажите, как разделить файл .txt согласно желаемой пропорции?
Если:
Xtrain, Xtest = train_test_split(Text, test_size=0.2)
, то он делает так:
...'к', ' ', '5', ' ', 'н', 'н', 'и', ' ', 'ы', 'а', 'ш', 'д', 'м', 'а', 'о', 'л', 'з', 'п', 'х'...
А нужно, чтобы оставались нормальные тексты, только разделенные на неравные части.
Ответы (1 шт):
Автор решения: MaxU
→ Ссылка
Обычно функцию train_test_split() используют уже после того как вы получили выборку, готовую к обучению. Все известные мне модели работают с числовыми матрицами/тензорами и не смогут работать напрямую с текстом или набором букв. Соответственно вам сначала придется обработать текст для того, чтобы получить из него числовую выборку и уже после этого нужно будет воспользоваться функцией train_test_split() для того, чтобы разделить выборку на обучающую и тестовую.