Как определить, что сайт использует динамическую загрузку контента?

Пишу WebCrawler на с#, который должен парсить контент с кучи сайтов. Важна скорость, по этому в первую очередь сайт парсится обычными гет-запросами. Но множество сайтов использую динамическую подгрузку контента, а значит мне для них нужен браузер. Использую puppeteer для рендера JS.

Проблема в том, что я далек от веб-технологий и не понимаю, как лучше определять когда действительно необходимо парсить сайт через puppeteer.

Буду благодарен за любые подсказки!


Ответы (0 шт):