Как спарсить страницу твиттера через PhantomJs или любыми другими способами?

Пытаюсь спарсить страницу https://twitter.com/PlayStation с помощью pnantomJS, так как пришел к мнению что иначе никак. Я использую код: В index.php

<?php

$html = shell_exec('/var/www/html/phantomjs/bin/phantomjs /var/www/html/phantomjs/bin/1.js');

echo $html;
?> 

В 1.js

"use strict";

var webPage = require('webpage');
var page = webPage.create();
page.customHeaders = {
'sec-ch-ua': '"Google Chrome";v="87", " Not;A Brand";v="99", "Chromium";v="87"',
'sec-ch-ua-mobile': '?0',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'
};
page.open('https://twitter.com/PlayStation', function (status) {
var html = page.content;
console.log(html);
phantom.exit();
});

Это не дает результата, и выводит "Page not found" "Sorry, that page doesn’t exist!" То есть сервер твиттера все равно понимает что это не настоящий браузер а лишь попытка им прикинуться. Заголовки передаю как в своем браузере во вкладке "Network".

Как обойти это? Может вы знаете лучший способ не прибегая к API? Апи использовать не могу, так как не прошел модерацию и не смог активировать аккаунт разработчика в твиттере (там нововведение с 19-20 года, теперь просто так ключи апи не получить). Надеюсь на вашу помощь. Заранее благодарю.


Ответы (0 шт):