Заполнение таблиц на основе прошлого опыта (машинное обучение, нейронные-сети)
Есть дата фрейм с тысячами строк, оранжевые столбцы (имеют неизменные значения их порядка 10 на каждый столбец) были проставлены вручную исходя из информации в желтом столбце, на данный момент накопился значимый объем таких данных и появилась идея автоматизировать процесс заполнения оранжевых столбцов.
Полазив по интернету понял, что необходимо смотреть в сторону машинного обучения или нейронной сети (так и не разобрался одно и тоже ли это или разные вещи), чтобы разобраться в данном вопросе по конкретной задаче нужно четкое направление куда смотреть, ведь если изучать всю тему может уйти несколько лет для написания 20 строк кода.
Что почитать? С чего начать чтоб максимально быстро решить именно эту задачу?
Ответы (3 шт):
Если рассматривать автоматическое заполнение столюба Блок - это классическая задача по классификации текста.
По поводу столбца б/с - трудно что-то сказать не понимая его природу.
Что почитать?
Советую поискать статьи на следующие темы
- классификации текста
- векторизации текста
- doc2vec
- TF-IDF
Основная идея заключается в том, что исходный текст нужно сначала превратить в числовую матрицу. А дальнейшая обработка будет зависеть от выбранного алгоритма классификации.
Вообще-то бухучет - не самое благодатное поля для использования машинного обучения. Дело в том, что в МО всегда допускается определенный процент ошибочных решений. Больший-меньший, но надо смириться, с тем, что есть. А вот в бухучете зафигачит нейросеть не тот номер счета. А потом придет налоговая. Кто отвечать за ошибки будет? С другой стоны, если перепроверять решение нейросети, то зачем тогда вообще ее использовать? Так даже трудозатраты не сократить.
Подумайте над этим вопросом. Тем более, на сколько я понял вам для того, что-бы прикрутить к задаче любое решение (ну, кроме очевидного: "если в тексте столбца А есть словосочетание "продажа металлолома" то в б/c пишем 91") то объем знаний, который вам придется предварительно освоить - очень не детский. Ну или нанять специально наученного специалиста - а это не дешево, а с учетом сказанного выше - еще и вряд-ли окупится.
Я тоже пытаюсь классифицировать текст, пока не получается.В своей группе вк (https://vk.com/net_search) я писал о сложности работы с anaconda, она например может обеспечить пакет gensim, который может представить каждое слово в виде некоторого вектора заданной длины, потом такую матрицу пытался отдавать сети, но так как сеть обычная(а не сверточная), она требовала вектор для окончательного тестирования, поэтому и обучать ее надо было по векторам(как целый текст), это получилось как среднее по рядам такой матрицы, но при обучении на рекурентной сети ошибка упала, а проверку(оценку) на тренировочных данных (2 вектора) не прошла, поэтому я и говорю что не смог обучить.(мой блог на cyberforum - https://www.cyberforum.ru/blogs/763551/ )