Как в метафоре описать суть метода максимального правдоподобия?
Правильно я понимаю, что ММП обратный (и аналогичный) к методу градиентного спуска и что они могут заменять друг друга? Только вместо "минимизации потерь" мы хотим "максимизировать прибыль"? Или если в метафоре, вместо того чтобы искать низину, мы хотим забраться на самую высокую гору?
Ответы (1 шт):
Я бы так не стал говорить.
Дело в том, что метод градиентного спуска - это просто "технический" метод решения оптимизационных задач. Кстати - конечно, он называется "градиентный спуск", но по факту переменой знака он решает что задачу минимизации, что задачу максимизации. Причем любую такую задачу. Практически он отвечает на вопрос "как получить результат" в конкретной сформулированной оптимизационной задаче.
А вот метод Максимального правдоподобия - "методологический". Т.е. он описывает, как свести некоторые реальные или около того задачи к задачам оптимизации. Практически он говорит, что и - главное - почему надо делать, что-бы получить результат.
Обратите внимание, что сведя задачу к оптимизационной, мы вовсе не обязаны дальше использовать градиентный спуск. Например, такие задачи, как регрессии и некоторые другие очень часто могут быть решены без привлечения градиентного спуска.
Градиентному спуску - повезло. Во-первых, он явно проще для понимания. Во-вторых, для его объяснения часто используют красивые аналогии -горы, льющаяся вода, спуск на лыжах и пр. И по большому счету он доступен для объяснения "на пальцах", почти без математики - хотя-бы в первом приближении. А вот для понимания ММП, даже самого поверхностного и приближенного, необходимо уже более-менее серьезное погружение и в математику, и в теорию вероятностей (вообще, и некоторые ее специальные разделы особенно). При этом никаких красивостей и внешних эффектов. И просто так, с налету этот метод не объяснишь. Хотя по важности и фундаментальности - он несомненно на несколько порядков выше, чем Градиентный спуск.
Если хотите разобраться что такое ММП, посмотрите хотя-бы некоторые статьи из
https://towardsdatascience.com/search?q=maximum%20likelihood%20estimation
Или вот еще
https://machinelearningmastery.com/what-is-maximum-likelihood-estimation-in-machine-learning/