#!/usr/bin/env python3 """Нормализация адресов в CSV по набору правил.""" from __future__ import annotations import argparse import csv import re from pathlib import Path ABBREVIATIONS = [ (r"\bул\.?\b", "улица"), (r"\bпр-т\b", "проспект"), (r"\bпросп\.?\b", "проспект"), (r"\bпер\.?\b", "переулок"), (r"\bнаб\.?\b", "набережная"), (r"\bпл\.?\b", "площадь"), (r"\bш\.?\b", "шоссе"), (r"\bобл\.?\b", "область"), (r"\bр-н\b", "район"), (r"\bпос\.?\b", "поселок"), (r"\bг\.?\b", "город"), (r"\bд\.?\b", "дом"), (r"\bкв\.?\b", "квартира"), (r"\bоф\.?\b", "офис"), (r"\bстр\.?\b", "строение"), (r"\bкорп\.?\b", "корпус"), ] def replace_word(match: re.Match[str], replacement: str) -> str: word = match.group(0) if word[:1].isupper(): return replacement[:1].upper() + replacement[1:] return replacement def normalize_address(value: str) -> str: text = value.strip() if not text: return text for pattern, replacement in ABBREVIATIONS: text = re.sub(pattern, lambda match, word=replacement: replace_word(match, word), text, flags=re.IGNORECASE) text = re.sub( r"\b(улица|проспект|переулок|набережная|площадь|шоссе|область|район|поселок|город|дом|квартира|офис|строение|корпус)\.", r"\1", text, flags=re.IGNORECASE, ) text = re.sub(r"\s+", " ", text) text = re.sub(r"\s*,\s*", ", ", text) text = re.sub(r"(?:,\s*){2,}", ", ", text) text = re.sub(r"\s+\.", ".", text) text = re.sub(r"\b(дом|квартира|офис|строение|корпус)\s*(\d)", r"\1 \2", text, flags=re.IGNORECASE) return text.strip(" ,.") def main() -> int: parser = argparse.ArgumentParser(description="Нормализация адресов") parser.add_argument("--input", type=Path, required=True, help="Исходный CSV") parser.add_argument("--column", required=True, help="Колонка с адресом") parser.add_argument("--output", type=Path, default=Path("addresses_normalized.csv"), help="Результат") parser.add_argument("--upper", action="store_true", help="Перевести адреса в верхний регистр") parser.add_argument("--delimiter", default=",", help="Разделитель колонок") parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл") args = parser.parse_args() source = args.input.expanduser().resolve() target = args.output.expanduser().resolve() if not source.is_file(): parser.error(f"Файл не найден: {source}") if source == target: parser.error("Выходной файл не должен совпадать с исходным") if target.exists() and not args.force: parser.error(f"Файл уже существует: {target}. Добавьте --force") if len(args.delimiter) != 1: parser.error("Разделитель должен состоять из одного символа") with source.open("r", encoding="utf-8-sig", newline="") as handle: reader = csv.DictReader(handle, delimiter=args.delimiter) if reader.fieldnames is None: parser.error("Не удалось прочитать заголовок") if args.column not in reader.fieldnames: parser.error(f"Нет колонки: {args.column}") rows = [] changed = 0 for row in reader: raw = row.get(args.column) or "" normalized = normalize_address(raw) if args.upper: normalized = normalized.upper() if normalized != raw: changed += 1 row[args.column] = normalized rows.append(row) target.parent.mkdir(parents=True, exist_ok=True) with target.open("w", encoding="utf-8", newline="") as handle: writer = csv.DictWriter(handle, fieldnames=reader.fieldnames, delimiter=args.delimiter, lineterminator="\n") writer.writeheader() writer.writerows(rows) print(f"Строк: {len(rows)}") print(f"Изменено адресов: {changed}") print(f"Результат: {target}") return 0 if __name__ == "__main__": raise SystemExit(main())