Текст и документы

Замаскировать персональные данные

Скрывает email, телефоны, номера карт и IP-адреса, сохраняя структуру текста и отчёт.

Python Windows macOS Linux Продвинутый
Скачать mask_pii.py
Описание

Что делает скрипт

Скрипт находит email, российские телефоны, номера карт и IPv4-адреса, проверяет карты по алгоритму Луна и заменяет значения масками. Обработанные копии пишутся в text-out, исходники не меняются без --in-place. Отчёт показывает, сколько замен каждого типа было сделано в каждом файле.

Перед запуском
  • Проверяйте результат вручную: шаблоны не знают всех форматов данных.
  • С --in-place исходный файл заменяется, рядом остаётся копия .bak.
Запуск

Быстрый старт

python mask_pii.py --path ./docs --output-dir masked

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python mask_pii.py --path contacts.txt --output-dir masked
  • python mask_pii.py --path ./docs --glob '*.md' --types email,phone
  • python mask_pii.py --path report.txt --in-place
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
Исходник

mask_pii.py

#!/usr/bin/env python3
"""Маскирование типовых персональных данных в тексте."""
from __future__ import annotations

import argparse
import re
import shutil
from pathlib import Path

EMAIL = re.compile(r"\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}\b")
CARD = re.compile(r"(?<!\d)(?:\d[ -]?){13,19}(?!\d)")
PHONE = re.compile(r"(?<!\d)(?:\+7|8)[\s(-]*\d{3}[\s)-]*\d{3}[\s-]*\d{2}[\s-]*\d{2}(?!\d)")
IPV4 = re.compile(r"(?<![\d.])(?:\d{1,3}\.){3}\d{1,3}(?!\d|\.\d)")


def luhn(value: str) -> bool:
    digits = [int(char) for char in value if char.isdigit()]
    if not 13 <= len(digits) <= 19:
        return False
    checksum = 0
    parity = len(digits) % 2
    for index, digit in enumerate(digits):
        if index % 2 == parity:
            digit *= 2
            if digit > 9:
                digit -= 9
        checksum += digit
    return checksum % 10 == 0


def mask_email(value: str) -> str:
    local, domain = value.split("@", 1)
    return f"{local[0]}***@{domain}"


def mask_card(value: str) -> str:
    digits = "".join(char for char in value if char.isdigit())
    return "**** **** **** " + digits[-4:]


def mask_phone(value: str) -> str:
    digits = "".join(char for char in value if char.isdigit())
    return "+7 *** *** ** " + digits[-2:]


def mask_ip(value: str) -> str:
    parts = value.split(".")
    return f"{parts[0]}.{parts[1]}.*.*"


def mask_text(text: str, selected: set[str]) -> tuple[str, dict[str, int]]:
    counts = {"email": 0, "phone": 0, "card": 0, "ip": 0}
    if "email" in selected:
        text, count = EMAIL.subn(lambda match: mask_email(match.group(0)), text)
        counts["email"] = count
    if "card" in selected:
        def card_replacement(match: re.Match[str]) -> str:
            return mask_card(match.group(0)) if luhn(match.group(0)) else match.group(0)
        text, count = CARD.subn(card_replacement, text)
        counts["card"] = count
    if "phone" in selected:
        text, count = PHONE.subn(lambda match: mask_phone(match.group(0)), text)
        counts["phone"] = count
    if "ip" in selected:
        def ip_replacement(match: re.Match[str]) -> str:
            parts = match.group(0).split(".")
            if all(0 <= int(part) <= 255 for part in parts):
                return mask_ip(match.group(0))
            return match.group(0)
        text, count = IPV4.subn(ip_replacement, text)
        counts["ip"] = count
    return text, counts


def main() -> int:
    parser = argparse.ArgumentParser(description="Замаскировать персональные данные")
    parser.add_argument("--path", type=Path, required=True, help="Файл или папка")
    parser.add_argument("--glob", default="*", help="Маска файлов")
    parser.add_argument("--output-dir", type=Path, default=Path("text-out"), help="Папка для копий")
    parser.add_argument("--types", default="email,phone,card,ip", help="Список типов через запятую")
    parser.add_argument("--in-place", action="store_true", help="Править исходные файлы")
    args = parser.parse_args()

    selected = {item.strip().lower() for item in args.types.split(",") if item.strip()}
    valid = {"email", "phone", "card", "ip"}
    if not selected or not selected <= valid:
        parser.error(f"Типы: {', '.join(sorted(valid))}")
    root = args.path.expanduser().resolve()
    if not root.exists():
        parser.error(f"Путь не найден: {root}")
    out_dir = args.output_dir.expanduser().resolve()
    files = [root] if root.is_file() else sorted(path for path in root.rglob(args.glob) if path.is_file())
    total = 0

    for source in files:
        try:
            text = source.read_text(encoding="utf-8")
        except (UnicodeDecodeError, OSError) as error:
            print(f"Пропуск {source}: {error}")
            continue
        masked, counts = mask_text(text, selected)
        if sum(counts.values()) == 0:
            continue
        total += sum(counts.values())
        print(f"{source}: " + ", ".join(f"{name}={value}" for name, value in counts.items() if value))
        if args.in_place:
            backup = source.with_name(source.name + ".bak")
            shutil.copy2(source, backup)
            source.write_text(masked, encoding="utf-8")
        else:
            relative = source.relative_to(root) if root.is_dir() else Path(source.name)
            target = out_dir / relative
            if target.resolve() == source.resolve():
                print(f"  пропуск, выходной путь совпадает с входным: {source}")
                continue
            target.parent.mkdir(parents=True, exist_ok=True)
            target.write_text(masked, encoding="utf-8")
            print(f"  сохранено {target}")

    print(f"Всего замен: {total}")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get text-mask-pii
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Текст и документы

Поиск, замена, кодировки, Markdown, CSV и работа с большими текстами.