#!/usr/bin/env python3 """Конвертация CSV и Parquet через pyarrow.""" from __future__ import annotations import argparse from pathlib import Path import pyarrow.csv as arrow_csv import pyarrow.parquet as parquet def main() -> int: parser = argparse.ArgumentParser(description="CSV и Parquet") parser.add_argument("--input", type=Path, required=True, help="Исходный файл") parser.add_argument("--output", type=Path, help="Результат") parser.add_argument("--to", choices=["csv", "parquet"], help="Целевой формат") parser.add_argument("--compression", choices=["snappy", "gzip", "none"], default="snappy", help="Сжатие Parquet") parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл") args = parser.parse_args() source = args.input.expanduser().resolve() if not source.is_file(): parser.error(f"Файл не найден: {source}") suffix = source.suffix.lower() if args.to: direction = args.to elif suffix == ".csv": direction = "parquet" elif suffix in {".parquet", ".pq"}: direction = "csv" else: parser.error("Не удалось определить формат. Укажите --to csv или --to parquet") target = args.output.expanduser().resolve() if args.output else source.with_suffix(".parquet" if direction == "parquet" else ".csv") if source == target: parser.error("Выходной файл не должен совпадать с исходным") if target.exists() and not args.force: parser.error(f"Файл уже существует: {target}. Добавьте --force") target.parent.mkdir(parents=True, exist_ok=True) if direction == "parquet": if suffix not in {".csv", ".txt"}: parser.error("Для CSV в Parquet нужен файл .csv") table = arrow_csv.read_csv(source) compression = None if args.compression == "none" else args.compression parquet.write_table(table, target, compression=compression) print(f"Строк: {table.num_rows}") print(f"Колонок: {table.num_columns}") print(f"Сжатие: {args.compression}") else: if suffix not in {".parquet", ".pq"}: parser.error("Для Parquet в CSV нужен файл .parquet") table = parquet.read_table(source) arrow_csv.write_csv(table, target) print(f"Строк: {table.num_rows}") print(f"Колонок: {table.num_columns}") print(f"Схема: {', '.join(f'{field.name}:{field.type}' for field in table.schema)}") print(f"Результат: {target}") return 0 if __name__ == "__main__": raise SystemExit(main())