Объединение множества .tsv файлов в один
Я делаю ML, чтобы предсказать качество связи в беспроводных ячеистых сетях. У меня есть набор данных, который состоит из огромного количества файлов .tsv (около 4000 штук). Формат файла: topo-2016-01-15-00_00.tsv; topo-2016-01-15-00-00_05.tsv; ...; topo-2016-01-15-15-23_55.tsv. Данные собирались на протяжении 14 дней с интервалом в 5 минут. Содержимое файла показано на рисунке:
Как я могу объединить данные файлы в один для последующей работы с ними?
Ответы (1 шт):
Автор решения: MaxU
→ Ссылка
Если позволит память компьютера, то самый простой вариант (Python):
import pandas as pd
from glob import glob
files = glob("/folder/dataset/*.tsv")
df = pd.concat([pd.read_csv(f, sep="\t", skiprows=1) for f in files],
ignore_index=True)