Функция потерь и метрика качества
Вопрос по теме машинного обучения. Так как являюсь самоучкой возникают как правило возможно глупые вопросы.
Часто встречаю термин функция потерь и метрика качества. Правильно ли я понимаю что по сути они могут быть одинаковые. Просто функция потерь используется для обучения. А метрика качества для тестирования модели. Но по факту они могут быть равны, верно ?
Ответы (3 шт):
При обучении стараются использовать максимально быструю функцию потерь, чтобы обучение шло за приемлемое время. Не так важно при обучении, что функция потерь будет не очень точная и не соответствующая целевой бизнес-метрике. Главное, чтобы она позволяла хоть как-то оценить прогресс при обучении модели, чтобы модель могла учиться и знала куда ей двигаться.
А вот для финальной проверки насколько хорошо модель в итоге выучилась уже используют целевую метрику качества, которая позволит (на тестовых/валидационных данных) более точно оценить, даёт ли обученная модель то качество, которое от неё ждёт бизнес.
Но если для вас не важна скорость обучения модели (у вас мало данных, простая модель, неограниченные вычислительные мощности), либо не очень важна бизнес-метрика, то вы, конечно, можете использовать одну и ту же функцию и при обучении и при валидации/финальной оценке модели.
Все, что написал уважаемый CrazyElf - абсолютно верно для случая использования нейросетей или просто методов оптимизации (в том числе градиентного спуска) для построения моделей. В других случаях машинного обучения "быстрота" вычисления функции потерь роли может и не играть. А играть, например, ее дифференцируемость - как в задачах регрессии. Или попытки как-то ограничить вид получаемых коэффициентов - "лассо-регрессия". Или обеспечить робастность метода - в регрессии и кластеризации. В NLP - там свои функции и метрики. Вариантов много. Но общее остается одно - функция потерь, это то, с помощью чего вы пытаетесь лучше "подогнать модель под входные данные". А метрика - это по сути уже способ сопоставления разных меделей между собой. Она может совпадать (или быть очень похожей) на функцию потерь или отличаться от нее.
Умение выбрать нужную функцию потерь и метрику качества - очень важный навык специалиста по машинному обучению. И этот вопрос лежит на грани самой DataScience и той прикладной области, в которой вы работаете. К сожалению, этому вопросу уделяют как правило, мало места в курсах, особенно - во всяких научно-популярных роликах на Ютюб и адаптированных для младших школьников "курсах" на разных сайтах. Хотя бывают, конечно, и исключения.
Функция потерь и метрика качества для задач регрессии – одно и то же. Для задач классификации мы не можем на метриках оценки качества обучать модель, т.к. это функции, которые мы не можем хорошо оптимизировать. Для задач классификации функция потерь и функция оценки качества – разные функции.