Запись данных из датафрейма pyspark в другую таблицу cassandra по id

Такой вопрос, предположим есть таблица в cassandra test:

+----+---------+---------+
| id | country | counter |
+====+=========+=========+
|  A |      RU |       1 |
+----+---------+---------+
|  B |      EN |       2 |
+----+---------+---------+
|  C |      IQ |       1 |
+----+---------+---------+
|  D |      RU |       3 |
+----+---------+---------+

Так же есть таблица в том же пространстве main в которой пару десятков столбцов и есть столбец аналогичный country, назовем его country_main и аналогичный id - main_id.

В столбце main_id есть как айдишники из таблицы test, так и уникальные айдишники. В столбце country есть пустые ячейки. Примерно так:

+---------+--------------+---------+
| main_id | country_main |      ...|
+=========+==============+=========+
|  A      |              |      ...|
+---------+--------------+---------+
|  B      |      EN      |      ...|
+---------+--------------+---------+
|  Y      |      IQ      |      ...|
+---------+--------------+---------+
|  Z      |      RU      |      ...|
+---------+--------------+---------+

Каким образом средствами pyspark сделать инсерт данных из таблицы test в main, что бы заполнить пустые ячейки таблицы main согласно айдишникам из теста?