Как осуществить парссинг flashdeals.aliexpress?

Стоит задача распарсить flashdeals.aliexpress. Для меня это абсолютно новая задача, начал я с использования Jsoup. Но результата не получил так как в chrome в инструментах разработчика я вижу: Инструмент разработчика Однако при парсинге с использованием Jsoup я получаю следующий результат:

 <div class="deals-main container"> 
   <div class="deals-container" data-maxtime="6" data-menuid="#pjhvjhr0yep5uab" data-onlypercent="10" data-onlystock="20" data-orderpercent="30" data-orders="50" data-role="deals-container"> 
    <div class="deals-discount-status" data-role="deals-discount-status">
     <span class="status-on status-item active" data-phase="1" data-role="status-item"><span class="status-item-text">NOW</span> </span> <span class="status-up status-item" data-phase="2" data-role="status-item"> <span class="status-item-text">UPCOMING</span> </span>
    </div> 
    <div class="deals-list" data-role="deals-list" data-spm="fdpcl001"></div> 
    <div class="loading" data-role="deals-scroll"></div> 
   </div> 
  </div> 

По гуглив я понял, что информация в deals-list попадает после выполнения скрипта: Request URL: https://gpsfront.aliexpress.com/getRecommendingResults.do?callback=jQuery183048246769344436435_1615212363465&widget_id=5547572&platform=pc&limit=12&offset=0&phase=1&productIds2Top=&postback=&_=1615212370475

И вот дальше я уперся не пойму в какую сторону рыть... По сути ты крутишь колесико выполняется скрипт, подгружаются данные. Как мне получить подгруженные данные отправлять на основной сайт эмуляцию скролинга? Но как и какими инструментами не знаю. И даже не уверен даст ли это результат. А если напрямую запускать этот скрипт в программе, то как какие библиотеки использовать? И как правильно строить логику для создания данного скрипта, потому что я так понимаю понадобится куки, возможно какие-то дополнительные переменные...

Буду благодарен если укажите направление в какую сторону искать инфу и в принципе может быть примерный алгоритмы действия для решения такой задачи, на что обратить внимание... Буду благодарен за любую обратную связь!


Ответы (0 шт):