Предсказание временного ряда с помощью lstm

Кажется, вы не совсем понимаете в чём смысл таких моделей. А смысл именно в том, что по нескольким предыдущим значениям предсказывается следующее значение. И не важно какая у этих значений дата, индекс или что. Из данных есть только N предыдущих значений, такая вот модель. В этом суть моделей типа RNN, LSTM и прочих подобных. В принципе, на этом же основаны модели предсказания временных рядов семейства ARIMA (хотя я в них не силён и могу тут ошибаться). Да - такие модели не учитывают сезонность и прочие факторы, которые можно было бы извлечь из даты, поэтому в реальной жизни их используют в основном для кратковременных предсказаний. Ну, либо сначала вычитают из данных сезонный фактор, тренд и т.п., а потом уже применяют такие модели.

1. Почему такой способ? Потому что это удобно. Например, вы берёте 5 предыдущих значений и по ним вычисляете текущее значение. У вас получается обычная табличка с данными, вы можете применять любые модели, которые работают с табличными данными, начиная с линейной регрессии и заканчивая ансамблями (например, XGBoost). Модели, которые работают именно с временными рядами специфичные - их меньше, с ними нужно уметь обращаться, проверять их работу нужно особо тщательно. А тут у вас обычные табличные данные и обычные модели, с которыми все умеют работать, которые легко настраивать, интерпретировать. Удобно.

2. Почему делаются такие преобразования данных (дифференцирование, скалирование)? И теория и практика показывают, что при таком варианте работы с данными (предсказание по сдвинутым данным) лучше получается предсказывать изменение данных, чем их абсолютную величину. Да это и в целом касается предсказания следующего значения в задаче на временные ряды. Поэтому и берётся разница между соседними значениями, а не сами значения. Ну и ещё нормализация значений делается.

P.S. По итогам обсуждения в комментариях должен напомнить известный факт. Обычно лучшее предсказание следующего шага временного ряда, будь это курс акций или что-то ещё более-менее непрерывное - это просто предыдущее значение ряда. У вас может получиться прекрасная метрика на вашем предсказании, но не обманывайтесь, а сравните, какой скор получит модель, которая предсказывает следующее значение равное предыдущему. Не исключено, что такая модель даст скор лучше, чем ваша более сложная модель.

А если вы попытаетесь предсказывать не следующий шаг ряда, а сразу через несколько шагов вперёд, то обнаружите, что с каждым таким шагом прогноз всё больше расходится с реальностью и сделать с этим по большому счёту почти ничего нельзя. Неопределённость неизбежно нарастает, поскольку обычно предсказываете вы всё-таки довольно случайный процесс.

import torch
import torch.nn as nn

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print(f"Using device: {device}")

class LSTMModel(nn.Module):
    def __init__(self, input_size, hidden_layer_size, output_size):
        super(LSTMModel, self).__init__()
        self.lstm = nn.LSTM(input_size, hidden_layer_size, batch_first=True)
        self.linear = nn.Linear(hidden_layer_size, output_size)
    
    def forward(self, x):
        lstm_out, _ = self.lstm(x)
        predictions = self.linear(lstm_out[:, -1, :])
        return predictions

X_train_tensor = torch.tensor(X_train, dtype=torch.float32).to(device)
y_train_tensor = torch.tensor(y_train, dtype=torch.float32).to(device)

model = LSTMModel(input_size=1, hidden_layer_size=5, output_size=1)

print(model)

learning_rate = 0.001
num_epochs = 100

Определение потерь и оптимизатора

criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)

Обучение модели

criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

epochs = 10

X_train_tensor = torch.tensor(X_train, dtype=torch.float32)
y_train_tensor = torch.tensor(y_train, dtype=torch.float32)

for epoch in range(epochs):
    model.train()
    optimizer.zero_grad()
    y_pred = model(X_train_tensor)
    loss = criterion(y_pred, y_train_tensor)
    loss.backward()
    optimizer.step()
    
    if (epoch + 1) % 10 == 0:
        print(f'Epoch {epoch + 1}/{epochs}, Loss: {loss.item()}')

Или можно так:

class LSTMModel(nn.Module):
    def __init__(self, input_size, hidden_layer_size, output_size):
        super(LSTMModel, self).__init__()
        self.lstm = nn.LSTM(input_size, hidden_layer_size, batch_first=True)
        self.linear = nn.Linear(hidden_layer_size, output_size)
    
    def forward(self, x):
        lstm_out, _ = self.lstm(x)
        predictions = self.linear(lstm_out[:, -1, :])
        return predictions

model = LSTMModel(input_size=1, hidden_layer_size=50, output_size=1)

print(model)

Обучение модели:

criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

epochs = 100

X_train_tensor = torch.tensor(X_train, dtype=torch.float32)
y_train_tensor = torch.tensor(y_train, dtype=torch.float32)

for epoch in range(epochs):
    model.train()
    optimizer.zero_grad()
    y_pred = model(X_train_tensor)
    loss = criterion(y_pred, y_train_tensor)
    loss.backward()
    optimizer.step()
    
    if (epoch + 1) % 10 == 0:
        print(f'Epoch {epoch + 1}/{epochs}, Loss: {loss.item()}')