Spark Java multiLine option не работает для CSV файла
Я сделал пример и поместил данные в CSV файл в котором не срабатывает корректный вывод data frame, а именно опция мультистрочность.
Мой CSV файл:
id;brand;model;engine;doors;color;date;description
1;Mercedes;W124;^6 straight^;5;black;12/31/20;the best
car ever
2;BMW;M5;^W 12^;3;red;10/28/08;I would like to
have it
3;Volvo;Tigger;^4 straight^;5;white;02/02/12;do not buy
this car
Dataset<Row> ds = spark
.read()
.format("csv")
.option("header", true)
.option("multiLine", true)
.option("encoding", "utf-8")
.option("sep", ";")
.option("quote", "^")
.option("dateFormat", "M/d/y")
.option("inferSchema", true)
.load("/media/roman/spark/import/cars.csv");
ds.show();
Актуальный вывод:
+--------+--------+------+----------+-----+-----+--------+---------------+
| id| brand| model| engine|doors|color| date| description|
+--------+--------+------+----------+-----+-----+--------+---------------+
| 1|Mercedes| W124|6 straight| 5|black|12/31/20| the best|
|car ever| null| null| null| null| null| null| null|
| 2| BMW| M5| W 12| 3| red|10/28/08|I would like to|
| have it| null| null| null| null| null| null| null|
| 3| Volvo|Tigger|4 straight| 5|white|02/02/12| do not buy|
|this car| null| null| null| null| null| null| null|
+--------+--------+------+----------+-----+-----+--------+---------------+
Ожидаемый вывод:
+---+--------+------+----------+-----+-----+--------+--------------------+
| id| brand| model| engine|doors|color| date| description|
+---+--------+------+----------+-----+-----+--------+--------------------+
| 1|Mercedes| W124|6 straight| 5|black|12/31/20| the best car ever|
| 2| BMW| M5| W 12| 3| red|10/28/08|I would like to h...|
| 3| Volvo|Tigger|4 straight| 5|white|02/02/12| do not buy this car|
+---+--------+------+----------+-----+-----+--------+--------------------+
Что я пробовал: пробовал писать multiline с маленькой буквы, поместил значение true как стринговое значение в кавычки :) option("multiLine", "true") и пробовал делать перенос строк с разными комбинациями - ничего не помогло.