Данные и таблицы

Конвертировать CSV и Parquet

Переводит CSV в Parquet и обратно с сохранением типов и выбором сжатия.

Python Windows macOS Linux Продвинутый
Скачать csv_parquet.py
Описание

Что делает скрипт

Скрипт определяет направление по расширению файла или явному флагу --to. Для CSV в Parquet используется pyarrow.csv с автоматическим определением типов, для обратного направления таблица выгружается в CSV. Parquet удобен для больших аналитических выгрузок и хорошо сжимается.

Перед запуском
  • Parquet не предназначен для ручного редактирования. Обратная конвертация может изменить форматирование чисел и дат.
Запуск

Быстрый старт

python csv_parquet.py --input data.csv --output data.parquet

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python csv_parquet.py --input data.parquet --output data.csv
  • python csv_parquet.py --input big.csv --compression gzip --output big.parquet --force
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
pyarrow Parquet и Arrow
Windows py -m pip install pyarrow
macOS python3 -m pip install pyarrow
Linux python3 -m pip install pyarrow
Исходник

csv_parquet.py

#!/usr/bin/env python3
"""Конвертация CSV и Parquet через pyarrow."""
from __future__ import annotations

import argparse
from pathlib import Path

import pyarrow.csv as arrow_csv
import pyarrow.parquet as parquet


def main() -> int:
    parser = argparse.ArgumentParser(description="CSV и Parquet")
    parser.add_argument("--input", type=Path, required=True, help="Исходный файл")
    parser.add_argument("--output", type=Path, help="Результат")
    parser.add_argument("--to", choices=["csv", "parquet"], help="Целевой формат")
    parser.add_argument("--compression", choices=["snappy", "gzip", "none"], default="snappy", help="Сжатие Parquet")
    parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
    args = parser.parse_args()

    source = args.input.expanduser().resolve()
    if not source.is_file():
        parser.error(f"Файл не найден: {source}")

    suffix = source.suffix.lower()
    if args.to:
        direction = args.to
    elif suffix == ".csv":
        direction = "parquet"
    elif suffix in {".parquet", ".pq"}:
        direction = "csv"
    else:
        parser.error("Не удалось определить формат. Укажите --to csv или --to parquet")

    target = args.output.expanduser().resolve() if args.output else source.with_suffix(".parquet" if direction == "parquet" else ".csv")
    if source == target:
        parser.error("Выходной файл не должен совпадать с исходным")
    if target.exists() and not args.force:
        parser.error(f"Файл уже существует: {target}. Добавьте --force")

    target.parent.mkdir(parents=True, exist_ok=True)
    if direction == "parquet":
        if suffix not in {".csv", ".txt"}:
            parser.error("Для CSV в Parquet нужен файл .csv")
        table = arrow_csv.read_csv(source)
        compression = None if args.compression == "none" else args.compression
        parquet.write_table(table, target, compression=compression)
        print(f"Строк: {table.num_rows}")
        print(f"Колонок: {table.num_columns}")
        print(f"Сжатие: {args.compression}")
    else:
        if suffix not in {".parquet", ".pq"}:
            parser.error("Для Parquet в CSV нужен файл .parquet")
        table = parquet.read_table(source)
        arrow_csv.write_csv(table, target)
        print(f"Строк: {table.num_rows}")
        print(f"Колонок: {table.num_columns}")
    print(f"Схема: {', '.join(f'{field.name}:{field.type}' for field in table.schema)}")
    print(f"Результат: {target}")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-csv-parquet
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.

Теги