Как максимально быстро постоянно парсить сайт на предмет появления новой информации
Есть сайт, на нем раз в несколько часов появляются статьи, заголовки которых выводятся на странице. Хотелось бы максимально быстро узнать, появилась ли новая статья на сайте и получить текст заголовка этой статьи. На данный момент вижу вариант постоянной отправки запроса и получения DOM страницы, но какие еще варианты могут быть ? Можно ли это осуществить с помощью web socket или иным образом ? Задача - максимально быстро получить обновление.
Ответы (1 шт):
Собственно говоря... у сайта должен быть показатель частоты обновления страниц, который укажет частоту запросов, более высокая частота, грозит добавлением твоего ип в чс (про это даже есть стори у меня), то есть примитивный вариант это запросы к странице мдулем request. Есть альтернатива: rss, email. Большинство сайтов предоставляет возможность подписки по емэйл, в этом случае придётся проверять почтовый ящик, что более цивильно, rss же проще парсить, также меньший шанс нарваться на защиту от ботов.