Как ускорить время чтения файла в Google Colab?
Как можно ускорить чтение файлов в Google Colab?
from google.colab import drive
drive.mount('/content/drive')
listdata1 = {}
listdata1 = os.listdir("/content/drive/My Drive/Colab Notebooks/folder/")
for i1 in range(len(listdata1)):
df1[i1] = pd.read_json("/content/drive/My Drive/Colab Notebooks/folder/"+listdata1[i1])
print("Well done! iter:", i1)
Ответы (1 шт):
Автор решения: MaxU
→ Ссылка
В приведенном куске кода практически все время тратится на чтение файлов (disk IO) и парсинг JSON файлов. Единственное, что приходит на ум в данном случае это прочитать один раз все файлы и сохранить словарь df1 в бинарном формате. Например как Pickle файл.
Pickle файлы читаются очень быстро и больше не надо будет парсить JSON структуры.