Скачать недостающие файлы в списке URL
Скачались все файлы по списку URL, но по пути 50 штук из 10000 где-то потерялись (нестабильное подключение). Код:
import json
import os
from urllib.parse import urlparse
def download_photo(url):
r = requests.get(url, stream=True)
filename = os.path.basename(urlparse(url).path)
with open(filename, 'bw') as file:
for chunk in r.iter_content(4096):
file.write(chunk)
def main():
photos = json.load(open('photos.json'))['response']
for photo in photos:
sizes = photo['sizes']
max_size_url = max(sizes, key=get_largest)['src']
download_photo(max_size_url)
7 строчка образует названия файлов. Получились файлы вида pdwTTffecso.jpg из ссылки https://sun9-51.userapi.com/impf/c849536/v849536034/bd9ff/pdwTTffecso.jpg?size=520x425&quality=96&sign=8649101e6f1c524fdaef1ad6985c2aba&c_uniq_tag=SEjshrVVAp-IMkqzvl5K26um-CwTTR4ki-YUyXQDnmg&type=album. Мне надо пройтись по списку ссылок и, если файл такого названия есть и скачан, пропустить ссылку; если файл не скачан, скачать его. Это возможно осуществить? Какими методами?