Python\SQL\CSV обработка файла
Есть огромный CSV файл. Сейчас работаю с ним через Pandas (примеры ниже).
Можно ли обращаться к CSV файлу используя SQL запросы, если нет БД на компьютере, и если да, то как?
data = pd.read_csv('Data/2021-03-06.csv', delimiter=';')
data.groupby('information').size()
Ответы (1 шт):
Автор решения: MaxU
→ Ссылка
В классическом Pandas можно имитировать только WHERE clause из SQL, используя метод DataFrame.query():
id_list = [1,2,3]
df.query("col1 < 12 and id in @id_list")
Если же нужно большее - группировки и агрегация, более сложные условия и т.д. то можно попробовать pandasql (последний релиз - апрель 2016).
Если возможностей pandasql не хватит, тогда можно воспользоваться Apache Spark SQL, который полностью поддерживает ANSI SQL Standard.
NOTE: установка и настройка Apache Spark кластера может оказаться непростой процедурой для неопытного пользователя.