Как получить оценку доверия к сайту или его размера?
Нужно каким-то образом получить численную оценку доверия к сайту, либо не доверия, а его размера (кол-ва ссылающихся на сайт ссылок).
Конкретный пример - ИСК от яндекса, но при запросе с помощью curl к https://webmaster.yandex.ru/siteinfo/?host=google.com яндекс начинает блокировать запросы буквально после 3-5, а нужно анализировать сотни, может даже тысячи доменов.
Есть идеи?
Ответы (1 шт):
Автор решения: Bleno
→ Ссылка
Короче решил сделать через ИКС, на питоне вроде того: (может кому-нибудь понадобиться)
import requests
session = requests.Session()
html = session.get("https://webmaster.yandex.ru/siteinfo/?host={}".format(domain)).text
#Обрабатываем html и достаём ИКС
Потом просто сохраняем сессию в файл с помощью pickle. Это решение позволяет сохранять все кукисы, хедеры и прочее, благодаря этому с одного ip яндекс не ругается уже несколько тысяч запросов.