Проблемы с получением всех страниц динамического сайта с помощью Scrapy

Всем привет! Есть задача - вытащить определённые поля со всех постов сообщества в ok.ru. Сайт подгружает посты динамически, при прокрутке до последнего видимого поста. Посмотрел в панели разработчика, по достижении конца страницы сайт отправляет POST-запрос

В ответ приходит HTML-страница со следующей десяткой постов. Проблема заключается в получении всех постов. При попытке создать этот POST-запрос в ответ получаю вот это

Код прилагаю

def start_requests(self):
    yield scrapy.FormRequest('https://ok.ru/towntravel', method='POST', formdata={'cmd': 'AltGroupMainFeedsNewRB','st.gid': '53803906957476'}, callback = self.parse_pages)    

def parse_pages(self, response, **kwargs):
    URLS = response.xpath('//a[@class = "media-text_a"]/@href').extract()
    for href in URLS: 
        url = self.base_url + href
        yield scrapy.Request(url, callback=self.parsing_form)

def parsing_form(self,response):
    item={
        'post_text' : response.url,
        'post_data' : response.xpath('//*[@class="mlr_cnts"]/div[2]/div[3]/div/div/text()').extract_first()
    }
    yield item

def parse(self, response, **kwargs):   
    yield "THE END"