Что делает tokenize из библиотеки razdel в python?
Пытаюсь разобраться с функцией tokenize в python. Сразу скажу - я новичок. Я уже и документацию прочел, и через print выводил результат. Все равно не понимаю, что делает.
Ответы (1 шт):
Автор решения: Алексей
→ Ссылка
Все, окончательно понял.
Как ответил @Интик "разбивает на токены". Я долго не мог понять, что за токены. Потом понял, просто разбивает приложение на слова/символы (кроме символа пробела). Стартовый индекс - это позиция с которой начинается слово, конечный индекс - которой заканчивается. Например, [Substring(0, 6, 'привет'), Substring(6, 7, ','), Substring(8, 14, 'Андрей'), Substring(14, 15, '!')]
0 - начальная позиция слова "привет". В слове привет 6 букв, т.е. 0+6 = 6 - это конечная позиция этого слова. И остальные слова/символы по аналогии.