поиск данных в Big data, Python

У меня есть большой фрейм на 100+ миллионов строк (пусть будет f1) и второй на 5 миллионов (пусть будет f2).

Мне нужно сравнить все строчки по сразу по 3 столбцам, типо 1f.client == 2f.client_pin AND 1f.session_id == 2f.session_id AND 1f.timestamp == 2f.timestamp, и все строчки в которых все совпало вынести в еще один отдельный фрейм. Задачу выполняю в Google Colab, по этому нужны не сильно тяжёлые для железа решения. Очень бы хотелось решение через Pyspark.