Данные и таблицы

Нормализовать адреса в CSV

Раскрывает сокращения улиц и домов, убирает лишние пробелы и приводит адреса к единому виду.

Python Windows macOS Linux Средний
Скачать normalize_addresses.py
Описание

Что делает скрипт

Скрипт применяет набор правил к выбранной колонке: ул. становится улица, д. становится дом, лишние пробелы и запятые убираются. Регистр слов сохраняется, а флаг --upper переводит весь адрес в верхний регистр. Это не замена геокодеру, но помогает сравнить выгрузки.

Перед запуском
  • Правила рассчитаны на русские сокращения. Сложные адреса и неоднозначные номера домов проверяйте вручную.
Запуск

Быстрый старт

python normalize_addresses.py --input clients.csv --column address --output clients_clean.csv

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python normalize_addresses.py --input data.csv --column address --upper
  • python normalize_addresses.py --input orders.csv --column address --force
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
Исходник

normalize_addresses.py

#!/usr/bin/env python3
"""Нормализация адресов в CSV по набору правил."""
from __future__ import annotations

import argparse
import csv
import re
from pathlib import Path

ABBREVIATIONS = [
    (r"\bул\.?\b", "улица"),
    (r"\bпр-т\b", "проспект"),
    (r"\bпросп\.?\b", "проспект"),
    (r"\bпер\.?\b", "переулок"),
    (r"\bнаб\.?\b", "набережная"),
    (r"\bпл\.?\b", "площадь"),
    (r"\bш\.?\b", "шоссе"),
    (r"\bобл\.?\b", "область"),
    (r"\bр-н\b", "район"),
    (r"\bпос\.?\b", "поселок"),
    (r"\bг\.?\b", "город"),
    (r"\bд\.?\b", "дом"),
    (r"\bкв\.?\b", "квартира"),
    (r"\bоф\.?\b", "офис"),
    (r"\bстр\.?\b", "строение"),
    (r"\bкорп\.?\b", "корпус"),
]


def replace_word(match: re.Match[str], replacement: str) -> str:
    word = match.group(0)
    if word[:1].isupper():
        return replacement[:1].upper() + replacement[1:]
    return replacement


def normalize_address(value: str) -> str:
    text = value.strip()
    if not text:
        return text
    for pattern, replacement in ABBREVIATIONS:
        text = re.sub(pattern, lambda match, word=replacement: replace_word(match, word), text, flags=re.IGNORECASE)
    text = re.sub(
        r"\b(улица|проспект|переулок|набережная|площадь|шоссе|область|район|поселок|город|дом|квартира|офис|строение|корпус)\.",
        r"\1",
        text,
        flags=re.IGNORECASE,
    )
    text = re.sub(r"\s+", " ", text)
    text = re.sub(r"\s*,\s*", ", ", text)
    text = re.sub(r"(?:,\s*){2,}", ", ", text)
    text = re.sub(r"\s+\.", ".", text)
    text = re.sub(r"\b(дом|квартира|офис|строение|корпус)\s*(\d)", r"\1 \2", text, flags=re.IGNORECASE)
    return text.strip(" ,.")


def main() -> int:
    parser = argparse.ArgumentParser(description="Нормализация адресов")
    parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
    parser.add_argument("--column", required=True, help="Колонка с адресом")
    parser.add_argument("--output", type=Path, default=Path("addresses_normalized.csv"), help="Результат")
    parser.add_argument("--upper", action="store_true", help="Перевести адреса в верхний регистр")
    parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
    parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
    args = parser.parse_args()

    source = args.input.expanduser().resolve()
    target = args.output.expanduser().resolve()
    if not source.is_file():
        parser.error(f"Файл не найден: {source}")
    if source == target:
        parser.error("Выходной файл не должен совпадать с исходным")
    if target.exists() and not args.force:
        parser.error(f"Файл уже существует: {target}. Добавьте --force")
    if len(args.delimiter) != 1:
        parser.error("Разделитель должен состоять из одного символа")

    with source.open("r", encoding="utf-8-sig", newline="") as handle:
        reader = csv.DictReader(handle, delimiter=args.delimiter)
        if reader.fieldnames is None:
            parser.error("Не удалось прочитать заголовок")
        if args.column not in reader.fieldnames:
            parser.error(f"Нет колонки: {args.column}")
        rows = []
        changed = 0
        for row in reader:
            raw = row.get(args.column) or ""
            normalized = normalize_address(raw)
            if args.upper:
                normalized = normalized.upper()
            if normalized != raw:
                changed += 1
            row[args.column] = normalized
            rows.append(row)

    target.parent.mkdir(parents=True, exist_ok=True)
    with target.open("w", encoding="utf-8", newline="") as handle:
        writer = csv.DictWriter(handle, fieldnames=reader.fieldnames, delimiter=args.delimiter, lineterminator="\n")
        writer.writeheader()
        writer.writerows(rows)

    print(f"Строк: {len(rows)}")
    print(f"Изменено адресов: {changed}")
    print(f"Результат: {target}")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-normalize-addresses
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.