Ошибка MemoryError при работе с большим кличеством файлов
У меня есть текстовые файлы, состоящие из словарей, количеством 10000-20000. Я преобразую файл в список из словарей, для того чтобы работать с ним в дальнейшем.
book = list(map(lambda line: json.loads(line), open('1.001.txt')))
Таких файлов 2500. Мне нужно получить информацию по всем из них, например выудить один элемент из последнего словаря каждого файла и составить список этих элементов в количестве равном числу этих файлов.
Я попробовал сделать все через простой цикл:
books = []
for text in glob.iglob('data\*'):
book = list(map(lambda line: json.loads(line), open(text)))
books.append(book)
И наткнулся на ошибку Memory Error и соответственно, загрузку оперативки. Видимо, этот подход не правильный. Каким методом надо работать? Время выполнения программы не критично, мне это нужно лишь один раз.