При парсинге сайта в теле body выводится непонятный текст

Question

Когда я начинаю парсить сайт и вывожу код в pycharm`e в теле body пишется вот это :

    <body>
      <!-- Google Tag Manager (noscript) -->
      <noscript><iframe src="https://www.googletagmanager.com/ns.html?id=GTM-NPDTN63"
      height="0" width="0" style="display:none;visibility:hidden"></iframe></noscript>
      <!-- End Google Tag Manager (noscript) -->
      <!--[if lt IE 10]>
      <p>

и еще куча непонятного.

Что нужно сделать для того, чтобы выводился код как из браузера?

UPD Пробовал парсить сайт с помощью scrapy fetch("csgowin.ru/crash/history") 2021-03-15 17:57:01 [scrapy.core.engine] INFO: Spider opened 2021-03-15 17:57:01 [scrapy.core.engine] DEBUG: Crawled (200) <GET csgowin.ru/crash/hi story> (referer: None) , а до этого с помощью Beautifulsoup и request, но в обоих случаях достать нормально код не получилось.

Answer 1

Вы не там ищете...
До crash history там несколько редиректов, а данные приходят в json с внутреннего api:

import json
import requests

headers = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'}

r = requests.get('https://api.csgowin.ru/crash/get-history', headers=headers)
data = json.loads(r.content)

В data будет словарь с таким содержимым:

{
    'success': 1, 
    'data': {
        'rounds': [
            {'id': 529940, 'crashed_at': 1.32, 'total_bank': 19, 'total_items': 25, 'total_users': 22, 'start_at': 1615821043091, 'delay': 0, 'state': 3}, 
            {'id': 529939, 'crashed_at': 1.18, 'total_bank': 11.6, 'total_items': 15, 'total_users': 15, 'start_at': 1615821027384, 'delay': 0, 'state': 3}, 
            {'id': 529938, 'crashed_at': 21.61, 'total_bank': 21.97, 'total_items': 26, 'total_users': 21, 'start_at': 1615820962933, 'delay': 0, 'state': 3}, 
            {'id': 529937, 'crashed_at': 6.67, 'total_bank': 40.82, 'total_items': 21, 'total_users': 21, 'start_at': 1615820918171, 'delay': 0, 'state': 3}, 
            {'id': 529936, 'crashed_at': 2.48, 'total_bank': 36.5, 'total_items': 23, 'total_users': 23, 'start_at': 1615820889994, 'delay': 0, 'state': 3}, 

            ...

            {'id': 529873, 'crashed_at': 1.22, 'total_bank': 9.89, 'total_items': 13, 'total_users': 13, 'start_at': 1615819105152, 'delay': 0, 'state': 3}, 
            {'id': 529872, 'crashed_at': 2.37, 'total_bank': 11.9, 'total_items': 20, 'total_users': 18, 'start_at': 1615819077736, 'delay': 0, 'state': 3}, 
            {'id': 529871, 'crashed_at': 1.75, 'total_bank': 15.57, 'total_items': 18, 'total_users': 18, 'start_at': 1615819055410, 'delay': 0, 'state': 3}

        ], 
        'stats': {'users': 2044, 'games': 2379, 'won': 14590.470000000001}
    }
}

БЛОГ НА HUSL

При парсинге сайта в теле body выводится непонятный текст

Ответы (1 шт):