Как осуществить парссинг flashdeals.aliexpress?
Стоит задача распарсить flashdeals.aliexpress.
Для меня это абсолютно новая задача, начал я с использования Jsoup. Но результата не получил так как в chrome в инструментах разработчика я вижу:
Однако при парсинге с использованием Jsoup я получаю следующий результат:
<div class="deals-main container">
<div class="deals-container" data-maxtime="6" data-menuid="#pjhvjhr0yep5uab" data-onlypercent="10" data-onlystock="20" data-orderpercent="30" data-orders="50" data-role="deals-container">
<div class="deals-discount-status" data-role="deals-discount-status">
<span class="status-on status-item active" data-phase="1" data-role="status-item"><span class="status-item-text">NOW</span> </span> <span class="status-up status-item" data-phase="2" data-role="status-item"> <span class="status-item-text">UPCOMING</span> </span>
</div>
<div class="deals-list" data-role="deals-list" data-spm="fdpcl001"></div>
<div class="loading" data-role="deals-scroll"></div>
</div>
</div>
По гуглив я понял, что информация в deals-list попадает после выполнения скрипта: Request URL: https://gpsfront.aliexpress.com/getRecommendingResults.do?callback=jQuery183048246769344436435_1615212363465&widget_id=5547572&platform=pc&limit=12&offset=0&phase=1&productIds2Top=&postback=&_=1615212370475
И вот дальше я уперся не пойму в какую сторону рыть... По сути ты крутишь колесико выполняется скрипт, подгружаются данные. Как мне получить подгруженные данные отправлять на основной сайт эмуляцию скролинга? Но как и какими инструментами не знаю. И даже не уверен даст ли это результат. А если напрямую запускать этот скрипт в программе, то как какие библиотеки использовать? И как правильно строить логику для создания данного скрипта, потому что я так понимаю понадобится куки, возможно какие-то дополнительные переменные...
Буду благодарен если укажите направление в какую сторону искать инфу и в принципе может быть примерный алгоритмы действия для решения такой задачи, на что обратить внимание... Буду благодарен за любую обратную связь!