Оптимально спарсить много сайтов одного типа. Jsoup

Есть сайт формата http://www.site.name/YYYY-MM-DD Мне необходимо спарсить текст со всех страниц этого сайта за текущий год. Придумал такую систему

for(int i = 1; i <= 12; i++){
        LocalDate date = LocalDate.of(LocalDate.now().getYear(), i, 1);
        for(int j = 1; j <= date.lengthOfMonth(); j++){
            date = LocalDate.of(2020, i, j);
            Thread.sleep(100);
            services.add(SiteGetter.getSite(URLBody + date.format(DateTimeFormatter.ofPattern(dateFormatter))));
        }
    }

Но вместо ожидаемого он в итоге выдает ошибку:

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404, URL=http://www.site.name/2020-04-100
    at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:762)
    at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:707)
    at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:297)
    at org.jsoup.helper.HttpConnection.get(HttpConnection.java:286)
    at WebService.SiteGetter.getSite(SiteGetter.java:10)
    at WebService.SiteContainer.setServices(SiteContainer.java:26)
    at Main.main(Main.java:9)

При этом вывод того что он кладет в лист services останавливается примерно на 8 июля 2020. В чем может быть проблема?


Ответы (2 шт):

Автор решения: Roman Konoval

Скоре всего проблема в формате даты. Составляющая формата DD - это номер дня в году, а вам скорее всего нужен номер дня в месяце.

Замените формат на YYYY-MM-dd.

→ Ссылка
Автор решения: Arty Mart

Да, вся проблема заключалась в формате даты. В моей ситуации он вообще был не нужен.

→ Ссылка