Мониторинг появления новых страниц на сайте
Какими способами можно отслеживать появление новых страниц на сайте? Например, на сайте example.com расположено множество страниц вида: example.com/123456, example.com/234567, example.com/345678, ... При этом на сайте отсутствуют внутренние ссылки на эти страницы, то есть с "главной" страницы невозможно перейти ни на одну из интересующих нас страниц, но при этом если ввести в адресную строку URL конкретной страницы, то она будет загружена. Можно ли как то мониторить появление новых страниц на таком сайте, если название новый страницы генерируется произвольно?
Ответы (1 шт):
@andreymal прав, за некоторым исключением: воспользоваться поисковой машиной (sphinx для самостоятельной работы) либо подписаться на рассылку мыла в гугле на обновления. Это не гарантирует моментальное уведомление о создании новой страницы, это гарантирует лишь то, что при обнаружении изменений роботом гугла ты будешь уведомлен об этом.