Как правильно настроить нейросеть для выделения характерных точек?
есть задача находить ключевые точки на лицах На данный момент есть определенное количество входных изображений (лиц) и такое же количество выходных изображений-лиц, с отмеченными на них ключевыми точками(точки отмечались с помощью маркера в фоторедакторе) Планируется использовать библиотеку keras для построения сверточной нейронной сети ввиду хорошей производительности и подробной документации Собственно вопрос: В каком виде лучше подавать изображения на CNN (черно-белое, в градациях серого, уменьшенное, в исходном размере?) и что дать CNN в качестве обучающих выходных данных: изображения с отмеченными точками или массив с координатами каждой точки (их около 70)?
Ответы (2 шт):
Подавать лучше в цвете, в исходном размере и с наилучшим качеством, но это все зависит от выбранной архитектуры и того, что она анализирует. А там смотря как делаете, если масками, то изображения с отмеченными точками.
Я надеюсь, что вы ознакомились во-первых с теорией нейросетей, а во-вторых - с тем как представляются картинки в компьютере. И как с этими картинками работает те-же нейросетевые алгоритмы. Представьте себе вы "показали" нейросети вашу картинку с "отмеченной с помощью меркера точкой". Нейросеть так или иначе должна ее представить в виде..... правильно, в виде координат точки. Соответственно понятно, что лучше не мучить сеть, а непосредственно показать в виде координат те точки, которые она должна бы найти, а не заставлять это сделать саму сеть.
P.S. Добавления после размышления. Если вы подадите точки в виде "отмеченных цветом поправок" и на таких картинках будете учить нейросеть, то почти наверняка потом, получая картинки без отметок ваша сеть вообще ничего не будет находить на ваших изображениях. Вернее она будет искать аналогичные отметки, не находить их и радостно об этом вас уведомлять.
По первому вашему вопросу. Опять-же, ознакомившись с теорией и практикой применения нейросетей для распознавания изображений (лиц) вы наверняка обратили внимание на советы относительно того, что тренировочная выборка должна быть максимальна подобна реальной. Не "самой красивой", "самой цветной" или "самого большого размера", с "урезкой или без", а именно такими, какие вы будет потом распознавать. Поэтому вам не выбирать надо, в каком виде картинки подавать, вам надо выяснять какие картинки вы будете подавать в продакшине и именно в таком виде готовить свой обучающий набор.