Нормализовать адреса в CSV
Раскрывает сокращения улиц и домов, убирает лишние пробелы и приводит адреса к единому виду.
Что делает скрипт
Скрипт применяет набор правил к выбранной колонке: ул. становится улица, д. становится дом, лишние пробелы и запятые убираются. Регистр слов сохраняется, а флаг --upper переводит весь адрес в верхний регистр. Это не замена геокодеру, но помогает сравнить выгрузки.
- Правила рассчитаны на русские сокращения. Сложные адреса и неоднозначные номера домов проверяйте вручную.
Быстрый старт
python normalize_addresses.py --input clients.csv --column address --output clients_clean.csv
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python normalize_addresses.py --input data.csv --column address --upperpython normalize_addresses.py --input orders.csv --column address --force
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
normalize_addresses.py
#!/usr/bin/env python3
"""Нормализация адресов в CSV по набору правил."""
from __future__ import annotations
import argparse
import csv
import re
from pathlib import Path
ABBREVIATIONS = [
(r"\bул\.?\b", "улица"),
(r"\bпр-т\b", "проспект"),
(r"\bпросп\.?\b", "проспект"),
(r"\bпер\.?\b", "переулок"),
(r"\bнаб\.?\b", "набережная"),
(r"\bпл\.?\b", "площадь"),
(r"\bш\.?\b", "шоссе"),
(r"\bобл\.?\b", "область"),
(r"\bр-н\b", "район"),
(r"\bпос\.?\b", "поселок"),
(r"\bг\.?\b", "город"),
(r"\bд\.?\b", "дом"),
(r"\bкв\.?\b", "квартира"),
(r"\bоф\.?\b", "офис"),
(r"\bстр\.?\b", "строение"),
(r"\bкорп\.?\b", "корпус"),
]
def replace_word(match: re.Match[str], replacement: str) -> str:
word = match.group(0)
if word[:1].isupper():
return replacement[:1].upper() + replacement[1:]
return replacement
def normalize_address(value: str) -> str:
text = value.strip()
if not text:
return text
for pattern, replacement in ABBREVIATIONS:
text = re.sub(pattern, lambda match, word=replacement: replace_word(match, word), text, flags=re.IGNORECASE)
text = re.sub(
r"\b(улица|проспект|переулок|набережная|площадь|шоссе|область|район|поселок|город|дом|квартира|офис|строение|корпус)\.",
r"\1",
text,
flags=re.IGNORECASE,
)
text = re.sub(r"\s+", " ", text)
text = re.sub(r"\s*,\s*", ", ", text)
text = re.sub(r"(?:,\s*){2,}", ", ", text)
text = re.sub(r"\s+\.", ".", text)
text = re.sub(r"\b(дом|квартира|офис|строение|корпус)\s*(\d)", r"\1 \2", text, flags=re.IGNORECASE)
return text.strip(" ,.")
def main() -> int:
parser = argparse.ArgumentParser(description="Нормализация адресов")
parser.add_argument("--input", type=Path, required=True, help="Исходный CSV")
parser.add_argument("--column", required=True, help="Колонка с адресом")
parser.add_argument("--output", type=Path, default=Path("addresses_normalized.csv"), help="Результат")
parser.add_argument("--upper", action="store_true", help="Перевести адреса в верхний регистр")
parser.add_argument("--delimiter", default=",", help="Разделитель колонок")
parser.add_argument("--force", action="store_true", help="Перезаписать выходной файл")
args = parser.parse_args()
source = args.input.expanduser().resolve()
target = args.output.expanduser().resolve()
if not source.is_file():
parser.error(f"Файл не найден: {source}")
if source == target:
parser.error("Выходной файл не должен совпадать с исходным")
if target.exists() and not args.force:
parser.error(f"Файл уже существует: {target}. Добавьте --force")
if len(args.delimiter) != 1:
parser.error("Разделитель должен состоять из одного символа")
with source.open("r", encoding="utf-8-sig", newline="") as handle:
reader = csv.DictReader(handle, delimiter=args.delimiter)
if reader.fieldnames is None:
parser.error("Не удалось прочитать заголовок")
if args.column not in reader.fieldnames:
parser.error(f"Нет колонки: {args.column}")
rows = []
changed = 0
for row in reader:
raw = row.get(args.column) or ""
normalized = normalize_address(raw)
if args.upper:
normalized = normalized.upper()
if normalized != raw:
changed += 1
row[args.column] = normalized
rows.append(row)
target.parent.mkdir(parents=True, exist_ok=True)
with target.open("w", encoding="utf-8", newline="") as handle:
writer = csv.DictWriter(handle, fieldnames=reader.fieldnames, delimiter=args.delimiter, lineterminator="\n")
writer.writeheader()
writer.writerows(rows)
print(f"Строк: {len(rows)}")
print(f"Изменено адресов: {changed}")
print(f"Результат: {target}")
return 0
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.