Как загрузить 60к картинок?

Изучаю компютерное зрение. Пробую решить задачу "Identify the apparels" отсюда, используя логическую регрессию. Собственна проблема в том что, дата сет - 70к 28x28 картинок. Из которых 60к - тренировоные данные. Сейчас план такой: загрузить все картинки для тренировки, затем вкинуть их в обучающий метод из opencv для логичиской регресси. Для загрузки пробовал такой код:

def load_images_from_folder(folder):
    images = []
    for filename in os.listdir(folder):
        img = cv2.imread(os.path.join(folder, filename))
        if img is not None:
            images.append(img)
        if (len(images) % 600 == 0):
            print(len(images) / 600)
    return images

Но за 30 минут загрузилось всего 25% изображений. Есть ли способ делать это быстрее? Или у меня в корне не правильная стратегия. Или для такого объема лучше использовать облока? Colab или что-то подобное.


Ответы (0 шт):