Как спарсить страницу твиттера через PhantomJs или любыми другими способами?
Пытаюсь спарсить страницу https://twitter.com/PlayStation с помощью pnantomJS, так как пришел к мнению что иначе никак. Я использую код: В index.php
<?php
$html = shell_exec('/var/www/html/phantomjs/bin/phantomjs /var/www/html/phantomjs/bin/1.js');
echo $html;
?>
В 1.js
"use strict";
var webPage = require('webpage');
var page = webPage.create();
page.customHeaders = {
'sec-ch-ua': '"Google Chrome";v="87", " Not;A Brand";v="99", "Chromium";v="87"',
'sec-ch-ua-mobile': '?0',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'
};
page.open('https://twitter.com/PlayStation', function (status) {
var html = page.content;
console.log(html);
phantom.exit();
});
Это не дает результата, и выводит "Page not found" "Sorry, that page doesn’t exist!" То есть сервер твиттера все равно понимает что это не настоящий браузер а лишь попытка им прикинуться. Заголовки передаю как в своем браузере во вкладке "Network".
Как обойти это? Может вы знаете лучший способ не прибегая к API? Апи использовать не могу, так как не прошел модерацию и не смог активировать аккаунт разработчика в твиттере (там нововведение с 19-20 года, теперь просто так ключи апи не получить). Надеюсь на вашу помощь. Заранее благодарю.