Spark не понимает в какие колонки возвращать данные из базы
При запросе в базу spark возвращает данные, но при парсе в обьект, spark не понимает к какой каконке относяться данные !
org.apache.spark.sql.AnalysisException: cannot resolve '`operationNumber`' given input columns: [operation_number, operation_amount, operation_amount_discount, operation_date]] with root cause
Вот класс который я хочу запарсить в
@NoArgsConstructor
@AllArgsConstructor
@Data
public class Good {
@SerializedName("operation_amount")
private String operationAmount;
@SerializedName("operation_amount_discount")
private String operationAmountDiscount;
@SerializedName("operation_date")
private String operationDate;
@SerializedName("operation_number")
private String operationNumber;
}
--
Dataset<Row> response = sparkSession.read()
.jdbc("jdbc:postgresql://localhost:5432/test",
"tmp_data",
"id",
1L,
10000L,
10, properties);
Encoder<Good> goodEncoder = Encoders.bean(Good.class);
return response.as(goodEncoder).collectAsList();