Получение кодов ссылок

я новичок, написал такой код (пытаюсь искать все битые сылки на сайте)

import requests
import re

r = requests.get("https://google.ru/")
All_links = re.findall('https?://(?:[-\w.]|(?:%[\da-fA-F]{2}))+', r.text)
print(All_links)

a = []
for links in All_links:
    a.append(requests.get(links).status_code)

print(a)

Когда обращаюсь на гугл, он все точно делает, когда обращаюсь к другим ресурсам и там куча ссылок, то он не дает мне проверить, я понимаю, что это сервер не дает, подскажите плз, как быть и куда копать