Хранение большого объема данных и краш hdf5

Вопрос: перевожу датасет из картинок в единый файл с матрицами для транспортировки и последующего использования. Ранее использовал hdf5 с записью в файл.

def write_hdf5(arr,outfile):
    with h5py.File(outfile,"a") as f:
       f.create_dataset("image", data=arr, dtype=arr.dtype,chunks=True)

Сейчас датасет вырос (7800 png файлов, против 800 ранее) и при создании файла hdf5 получаю закономерную ошибку ядра "dead kernel" (50 gb файл размером - работаю на сервере, памяти ешь не хочу). Chunkами не получается дописать и нет смысла подгружать. Можно ли расширить рамки подгрузки, чтобы более 50 gb размещалось в памяти, либо какие другие форматы посоветуете?