Получить только html код страницы
Я использую puppeteer для получения html кода страницы сайта.
//отключил JS
await browser_page.setJavaScriptEnabled(false);
await browser_page.goto('https://site.com');
let html_content = await browser_page.evaluate(() => document.querySelector('*').outerHTML);
Но часто приходится долго ждать загрузку страницы. Можно ли как-то получать только html код? минуя "отрисовку" самой страницы?
Но мне очень важно чтобы сайт не посчитал меня за бота, сейчас я использую puppeteer-extra, puppeteer-extra-plugin-stealth, puppeteer-extra-plugin-adblocker + рандомные юзер-агенты.
Ответы (1 шт):
Автор решения: vsemozhebuty
→ Ссылка
Кажется, всё проще:
import puppeteer from 'puppeteer';
const browser = await puppeteer.launch();
try {
const [page] = await browser.pages();
const response = await page.goto('https://example.org/', { waitUntil: 'domcontentloaded' });
console.log(await response.text());
} catch (err) { console.error(err); } finally { await browser.close(); }