Как загрузить 60к картинок?
Изучаю компютерное зрение. Пробую решить задачу "Identify the apparels" отсюда, используя логическую регрессию. Собственна проблема в том что, дата сет - 70к 28x28 картинок. Из которых 60к - тренировоные данные. Сейчас план такой: загрузить все картинки для тренировки, затем вкинуть их в обучающий метод из opencv для логичиской регресси. Для загрузки пробовал такой код:
def load_images_from_folder(folder):
images = []
for filename in os.listdir(folder):
img = cv2.imread(os.path.join(folder, filename))
if img is not None:
images.append(img)
if (len(images) % 600 == 0):
print(len(images) / 600)
return images
Но за 30 минут загрузилось всего 25% изображений. Есть ли способ делать это быстрее? Или у меня в корне не правильная стратегия. Или для такого объема лучше использовать облока? Colab или что-то подобное.