Собрать все страницы сайта

Как я могу получить все страницы сайта? Я так понимаю это можно сделать с помощью функции find_all в модуле bs4 и библиотеки requests. Далее перебирать все ссылки и проверять, чтобы домен ссылки совпадал с доменом сайта. Далее проверять их в списке, где будут храниться url страниц сайта, и если ссылки не в этом списке, то добавлять ее туда. Есть ли более простой способ?