Нужен список URL закрытого сервера
Я работаю на закрытом сервере, мне нужен список всех доступных URL. Проблема в том, что карты сайта нет, файл robots я создать не могу, так как на сайт не мой, туда я захожу как рядовой работник. Возможно ли решить как-то эту проблему?
Ответы (1 шт):
По моему, эту проблему нельзя решить "в общем виде", но можно предложить "достаточно хорошее практическое решение"
У кажого сервера есть файл логов доступа. Туда запиывается, с какого IP по какому URL пользователь ходил на сервер. В зависимости от используемого сервера расположение этого лога может отличаться, к примеру, в nginx (который служит "фронтом" для огромного кол-ва серверов) логи по умолчанию лежат в файле access_log.
Я предлагаю взять какой то разумный периолд времени - неделю, месяц, полгода - и распарсить access_log за это время. Как Вы увидите, у кажого URL (будем за URL счиать всё до параметров GET-строки) будет "счетчик популярности" - кол-во обращений к этому URL.
Дальше, в зависимости от задачи - можно или выбросить "непопулярные" страницы вообще, или использовать ранжирование по кол-ву обращений для построения "site map".