Как определить, что сайт использует динамическую загрузку контента?
Пишу WebCrawler на с#, который должен парсить контент с кучи сайтов. Важна скорость, по этому в первую очередь сайт парсится обычными гет-запросами. Но множество сайтов использую динамическую подгрузку контента, а значит мне для них нужен браузер. Использую puppeteer для рендера JS.
Проблема в том, что я далек от веб-технологий и не понимаю, как лучше определять когда действительно необходимо парсить сайт через puppeteer.
Буду благодарен за любые подсказки!