Скачать недостающие файлы в списке URL

Скачались все файлы по списку URL, но по пути 50 штук из 10000 где-то потерялись (нестабильное подключение). Код:

import json
import os
from urllib.parse import urlparse

def download_photo(url):
    r = requests.get(url, stream=True)
    filename = os.path.basename(urlparse(url).path) 
    with open(filename, 'bw') as file:  
        for chunk in r.iter_content(4096):
            file.write(chunk)

def main():
    photos = json.load(open('photos.json'))['response']
    for photo in photos:
        sizes = photo['sizes']
        max_size_url = max(sizes, key=get_largest)['src']
        download_photo(max_size_url)

7 строчка образует названия файлов. Получились файлы вида pdwTTffecso.jpg из ссылки https://sun9-51.userapi.com/impf/c849536/v849536034/bd9ff/pdwTTffecso.jpg?size=520x425&quality=96&sign=8649101e6f1c524fdaef1ad6985c2aba&c_uniq_tag=SEjshrVVAp-IMkqzvl5K26um-CwTTR4ki-YUyXQDnmg&type=album. Мне надо пройтись по списку ссылок и, если файл такого названия есть и скачан, пропустить ссылку; если файл не скачан, скачать его. Это возможно осуществить? Какими методами?


Ответы (0 шт):