Данные и таблицы

Отфильтровать CSV по условиям

Оставляет строки, которые подходят под все заданные условия по колонкам.

Python Windows macOS Linux Средний
Скачать filter_csv.py
Описание

Что делает скрипт

Фильтры задаются в виде status=active, amount>=1000 или email~@example. Поддерживаются равенство, сравнение чисел, вхождение подстроки и регулярные выражения. Условия объединяются через И. Исходный файл не меняется, результат сохраняется отдельно.

Перед запуском
  • Если выходной файл существует, скрипт остановится без --force.
Запуск

Быстрый старт

python filter_csv.py --input orders.csv --where 'status=paid' --where 'amount>=1000'

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python filter_csv.py --input orders.csv --where 'city~Москва' --output moscow.csv
  • python filter_csv.py --input users.csv --where 'email~@example\.com' --ignore-case --limit 100
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
Исходник

filter_csv.py

#!/usr/bin/env python3
"""Фильтрация CSV по набору условий."""
from __future__ import annotations

import argparse
import csv
import re
from pathlib import Path

OPERATORS = ("!=", ">=", "<=", "=", ">", "<", "~")


def parse_condition(text: str) -> tuple[str, str, str]:
    for operator in OPERATORS:
        index = text.find(operator)
        if index > 0:
            column = text[:index].strip()
            value = text[index + len(operator):].strip()
            if not column:
                break
            return column, operator, value
    raise ValueError(f"Неверное условие: {text}")


def matches(value: str, operator: str, expected: str, regex: re.Pattern[str] | None, ignore_case: bool) -> bool:
    left = value.strip()
    right = expected.strip()
    if ignore_case:
        left_cmp = left.casefold()
        right_cmp = right.casefold()
    else:
        left_cmp = left
        right_cmp = right

    if operator in {">", ">=", "<", "<="}:
        try:
            first = float(left.replace(",", "."))
            second = float(right.replace(",", "."))
        except ValueError:
            return False
        if operator == ">":
            return first > second
        if operator == ">=":
            return first >= second
        if operator == "<":
            return first < second
        return first <= second
    if operator == "=":
        return left_cmp == right_cmp
    if operator == "!=":
        return left_cmp != right_cmp
    if operator == "~":
        return bool(regex and regex.search(left))
    return False


def main() -> int:
    parser = argparse.ArgumentParser(description="Фильтрация CSV")
    parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
    parser.add_argument("--output", type=Path, default=Path("filtered.csv"), help="Результат")
    parser.add_argument("--where", action="append", required=True, help="Условие, можно повторять")
    parser.add_argument("--ignore-case", action="store_true", help="Не учитывать регистр")
    parser.add_argument("--limit", type=int, default=0, help="Максимум строк в результате")
    parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
    parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
    args = parser.parse_args()

    source = args.input.expanduser().resolve()
    target = args.output.expanduser().resolve()
    if not source.is_file():
        parser.error(f"Файл не найден: {source}")
    if source == target:
        parser.error("Выходной файл не должен совпадать с исходным")
    if target.exists() and not args.force:
        parser.error(f"Файл уже существует: {target}. Добавьте --force")
    if len(args.delimiter) != 1:
        parser.error("Разделитель должен состоять из одного символа")

    conditions = []
    try:
        for text in args.where:
            column, operator, expected = parse_condition(text)
            flags = re.IGNORECASE if args.ignore_case else 0
            regex = re.compile(expected, flags) if operator == "~" else None
            conditions.append((column, operator, expected, regex))
    except (ValueError, re.error) as error:
        parser.error(str(error))

    with source.open("r", encoding="utf-8-sig", newline="") as handle:
        reader = csv.DictReader(handle, delimiter=args.delimiter)
        if reader.fieldnames is None:
            parser.error("Не удалось прочитать заголовок")
        missing = [column for column, _, _, _ in conditions if column not in reader.fieldnames]
        if missing:
            parser.error("Нет колонок: " + ", ".join(sorted(set(missing))))
        selected = []
        total = 0
        for row in reader:
            total += 1
            if all(matches(row.get(column, ""), operator, expected, regex, args.ignore_case)
                   for column, operator, expected, regex in conditions):
                selected.append(row)
                if args.limit and len(selected) >= args.limit:
                    break

    with target.open("w", encoding="utf-8", newline="") as handle:
        writer = csv.DictWriter(handle, fieldnames=reader.fieldnames, delimiter=args.delimiter, lineterminator="\n")
        writer.writeheader()
        writer.writerows(selected)

    print(f"Проверено строк: {total}")
    print(f"Подошло строк: {len(selected)}")
    print(f"Результат: {target}")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-csv-filter
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.