Конвертировать CSV и Parquet
Переводит CSV в Parquet и обратно с сохранением типов и выбором сжатия.
Что делает скрипт
Скрипт определяет направление по расширению файла или явному флагу --to. Для CSV в Parquet используется pyarrow.csv с автоматическим определением типов, для обратного направления таблица выгружается в CSV. Parquet удобен для больших аналитических выгрузок и хорошо сжимается.
- Parquet не предназначен для ручного редактирования. Обратная конвертация может изменить форматирование чисел и дат.
Быстрый старт
python csv_parquet.py --input data.csv --output data.parquet
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python csv_parquet.py --input data.parquet --output data.csvpython csv_parquet.py --input big.csv --compression gzip --output big.parquet --force
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
py -m pip install pyarrow
python3 -m pip install pyarrow
python3 -m pip install pyarrow
csv_parquet.py
#!/usr/bin/env python3
"""Конвертация CSV и Parquet через pyarrow."""
from __future__ import annotations
import argparse
from pathlib import Path
import pyarrow.csv as arrow_csv
import pyarrow.parquet as parquet
def main() -> int:
parser = argparse.ArgumentParser(description="CSV и Parquet")
parser.add_argument("--input", type=Path, required=True, help="Исходный файл")
parser.add_argument("--output", type=Path, help="Результат")
parser.add_argument("--to", choices=["csv", "parquet"], help="Целевой формат")
parser.add_argument("--compression", choices=["snappy", "gzip", "none"], default="snappy", help="Сжатие Parquet")
parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
args = parser.parse_args()
source = args.input.expanduser().resolve()
if not source.is_file():
parser.error(f"Файл не найден: {source}")
suffix = source.suffix.lower()
if args.to:
direction = args.to
elif suffix == ".csv":
direction = "parquet"
elif suffix in {".parquet", ".pq"}:
direction = "csv"
else:
parser.error("Не удалось определить формат. Укажите --to csv или --to parquet")
target = args.output.expanduser().resolve() if args.output else source.with_suffix(".parquet" if direction == "parquet" else ".csv")
if source == target:
parser.error("Выходной файл не должен совпадать с исходным")
if target.exists() and not args.force:
parser.error(f"Файл уже существует: {target}. Добавьте --force")
target.parent.mkdir(parents=True, exist_ok=True)
if direction == "parquet":
if suffix not in {".csv", ".txt"}:
parser.error("Для CSV в Parquet нужен файл .csv")
table = arrow_csv.read_csv(source)
compression = None if args.compression == "none" else args.compression
parquet.write_table(table, target, compression=compression)
print(f"Строк: {table.num_rows}")
print(f"Колонок: {table.num_columns}")
print(f"Сжатие: {args.compression}")
else:
if suffix not in {".parquet", ".pq"}:
parser.error("Для Parquet в CSV нужен файл .parquet")
table = parquet.read_table(source)
arrow_csv.write_csv(table, target)
print(f"Строк: {table.num_rows}")
print(f"Колонок: {table.num_columns}")
print(f"Схема: {', '.join(f'{field.name}:{field.type}' for field in table.schema)}")
print(f"Результат: {target}")
return 0
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.