Tensorfow, много npy файлов
У меня есть 20 npy файлов входных shape=(n,64,64,24) и 20 файлов выходных shape=(n,64,64,12). Как мне с помощью fit или fit_generator либо чего-либо ещё пропустить их всех через сеть tensorflow? Не могу их объединить по причине того что мне не хватает оперативной памяти.
Ответы (1 шт):
Автор решения: Aliaksei
→ Ссылка
> `x_train = glob.glob('./dataset/train/x/*.npy')
y_train = glob.glob('./dataset/train/y/*.npy')
x_test = glob.glob('./dataset/test/x/*.npy')
y_test = glob.glob('./dataset/test/y/*.npy')
def train_generator(data='train'):
while True:
if data=="train":
d = zip(x_train, y_train)
if data=="test":
d = zip(x_test, y_test)
for i,j in d:
train=np.load(i)
test = np.load(j)
# train = create_cutted_array(train)
# test = create_cutted_array(test)
# for k in range(train.shape[0]):
a = train.reshape(1,train.shape[0],train.shape[1],train.shape[2])
b = test.reshape(1,test.shape[0],test.shape[1],test.shape[2])
yield (a, b)
model.fit_generator(train_generator('train'), steps_per_epoch=steps_per_epoch_train, epochs=epoch,shuffle=False, verbose=1, validation_data=train_generator('test'),validation_steps=steps_per_epoch_test,callbacks=[PredictionCallback(),mc])`