Spark Java multiLine option не работает для CSV файла

Я сделал пример и поместил данные в CSV файл в котором не срабатывает корректный вывод data frame, а именно опция мультистрочность.

Мой CSV файл:

id;brand;model;engine;doors;color;date;description
1;Mercedes;W124;^6 straight^;5;black;12/31/20;the best
car ever
2;BMW;M5;^W 12^;3;red;10/28/08;I would like to
have it
3;Volvo;Tigger;^4 straight^;5;white;02/02/12;do not buy
this car

    Dataset<Row> ds = spark
        .read()
        .format("csv")
        .option("header", true)
        .option("multiLine", true)
        .option("encoding", "utf-8")
        .option("sep", ";")
        .option("quote", "^")
        .option("dateFormat", "M/d/y")
        .option("inferSchema", true)
        .load("/media/roman/spark/import/cars.csv");
ds.show();

Актуальный вывод:

+--------+--------+------+----------+-----+-----+--------+---------------+
|      id|   brand| model|    engine|doors|color|    date|    description|
+--------+--------+------+----------+-----+-----+--------+---------------+
|       1|Mercedes|  W124|6 straight|    5|black|12/31/20|       the best|
|car ever|    null|  null|      null| null| null|    null|           null|
|       2|     BMW|    M5|      W 12|    3|  red|10/28/08|I would like to|
| have it|    null|  null|      null| null| null|    null|           null|
|       3|   Volvo|Tigger|4 straight|    5|white|02/02/12|     do not buy|
|this car|    null|  null|      null| null| null|    null|           null|
+--------+--------+------+----------+-----+-----+--------+---------------+

Ожидаемый вывод:

+---+--------+------+----------+-----+-----+--------+--------------------+
| id|   brand| model|    engine|doors|color|    date|         description|
+---+--------+------+----------+-----+-----+--------+--------------------+
|  1|Mercedes|  W124|6 straight|    5|black|12/31/20|   the best car ever|
|  2|     BMW|    M5|      W 12|    3|  red|10/28/08|I would like to h...|
|  3|   Volvo|Tigger|4 straight|    5|white|02/02/12| do not buy this car|
+---+--------+------+----------+-----+-----+--------+--------------------+

Что я пробовал: пробовал писать multiline с маленькой буквы, поместил значение true как стринговое значение в кавычки :) option("multiLine", "true") и пробовал делать перенос строк с разными комбинациями - ничего не помогло.


Ответы (0 шт):