Как пробить защиту от парсинга данного сайта?

Question

Уже несколько дней пытаюсь победить защиту от парсинга данного сайта и ничего не получаеться, кокая именно защита стоит у него, не понятно. Я применил ввесь арсенал Curl которым обладает данная библиотека, но увы, ничего не происходит. Вот мой код:

$headers[] ='Request URL: https://invest-pedia.com/';
$headers[] ='Request Method: GET';
$headers[] ='Status Code: 200 ';
$headers[] ='Remote Address: 162.213.251.210:443';
$headers[] ='Referrer Policy: no-referrer-when-downgrade';
$headers[] ='cache-control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0';
$headers[] ='content-encoding: gzip';
$headers[] ='content-type: text/html';
$headers[] ='date: Sat, 28 Mar 2020 13:10:29 GMT';
$headers[] ='expires: Thu, 19 Nov 1981 08:52:00 GMT';
$headers[] ='pragma: no-cache';
$headers[] ='server: Apache';
$headers[] ='set-cookie: CameFrom=deleted; expires=Thu, 01-Jan-1970 00:00:01 GMT';
$headers[] ='status: 200';
$headers[] ='vary: Accept-Encoding';
$headers[] ='x-powered-by: PHP/5.3.29';
$headers[] =':authority: invest-pedia.com';
$headers[] =':method: GET';
$headers[] =':path: /';
$headers[] =':scheme: https';
$headers[] ='accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9';
$headers[] ='accept-encoding: gzip, deflate, br';
$headers[] ='accept-language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,fa;q=0.6';
$headers[] ='cache-control: no-cache';
$headers[] ='cookie: _ga=GA1.2.473031403.1583304202; __tawkuuid=e::invest-pedia.com::ftGqU14XkYaFyI3cYnTW23iFjvVUNVis+I+x4FwvFSJSX7qyFnmGYJ1cS17JX5nP::2; __cfduid=d3db5e5008ec9c16054be5d1001f581131584703909; _gid=GA1.2.633393376.1585135046; PHPSESSID=ndoheojv55diccieni6ju1jlg2; _gat_gtag_UA_158854234_1=1; TawkConnectionTime=0';
$headers[] ='pragma: no-cache';
$headers[] ='sec-fetch-dest: document';
$headers[] ='sec-fetch-mode: navigate';
$headers[] ='sec-fetch-site: none';
$headers[] ='sec-fetch-user: ?1';
$headers[] ='upgrade-insecure-requests: 1';
$headers[] ='user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36';

$ch = curl_init("https://invest-pedia.com/");
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_REFERER, 'http://yandex.ru');
curl_setopt($ch, CURLOPT_COOKIEFILE, '/cookie.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR, '/cookie.txt');
$hyiplogs = curl_exec($ch);
if (curl_exec($ch) === false) {echo 'Curl error: ' . curl_error($ch);
} else {echo 'Operation completed without any errors';}
curl_close($ch);
var_dump($hyiplogs);

Прошу профессионалов помочь, если это возможно. Заранее благодарю.

Answer 1

<?php
$curl = curl_init();

curl_setopt_array($curl, array(
    CURLOPT_URL => "https://invest-pedia.com/",
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_ENCODING => "",
    CURLOPT_MAXREDIRS => 10,
    CURLOPT_TIMEOUT => 0,
    CURLOPT_FOLLOWLOCATION => true,
    CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
    CURLOPT_CUSTOMREQUEST => "GET",
));

$response = curl_exec($curl);

curl_close($curl);
print_r($response);

БЛОГ НА HUSL

Как пробить защиту от парсинга данного сайта?

Ответы (1 шт):