Как побороть утечку памяти в Google Search Console Removals
Итак, что мы имеем на входе:
У нас есть с сайт, на котором несколько млн страниц.
В силу ряда причин нам регулярно приходится удалять некоторые страницы из Google, при том и из Google cache тоже.
Удалять можно (и нужно) через https://search.google.com/search-console/removals
Удалять можно как от администратора сайта так и простому пользователю (не хочу вдаваться в подробности, но если страница на сайте уже удалена то и простой смертный может удалить ее из кеша Google)
Нам нужно удаление именно от администратора - оно работает быстрее и с некоторыми нужными нам параметрами
Что мы имеем на выходе:
Когда все только начиналось - система работала нормально.
Сейчас у нас уже накопилось более 40к удаленных страниц
Сейчас Google (красавчики-разработчики) подгружают ВСЮ историю (таблично) удалений сразу на страницу, да сделан пейджинг - но ВСЕ данные УЖЕ в DOM'e
При таком раскладе страница сразу весит в памяти около 1.4GB (при этом GPU память тоже весит примерно гиг)
При добавлении 5-10 страниц страница раздувается до 10-20GB и если комп слабенький - то все сваливается
Что нам нужно:
Разобраться на нашей стороне что можно вырезать на лету в этой всей богодельне так чтобы страница не раздувалась и можно было хоть как-то работать. Может быть найти утечку и постараться ее через консоль обрезать - тоже подойдет
Может какой-то скрипт, который который можно будет запускать из консоли, который будет чистить все это неподобство.
Скорее всего они не предполагали что будет такое кол-во удалений и на больших объемах не тестировали
Что уже пробовали и что не надо предлагать:
Работать через removal API (у нас сайт не подходит под критерии)
Создавать sitemap страниц, которые нужно удалить (это не наш метод, скорость response не подходит)
Удаление 40000 DOM элементов тоже не помогает, гугль их все равно подгружает через JS и снова растет
Особенности:
Работа в данном направлении связана с админским доступом к GSC так что скорее всего прийдется работать со мной в связке, тоесть либо я шарю экран и вы мне говорите что делать, толи еще какой-то такой совместный доступ. Щедро отблагодарю