#!/usr/bin/env python3 """Загрузка резервной копии в S3-совместимое хранилище через boto3.""" from __future__ import annotations import argparse import hashlib import json import os import sys import time from pathlib import Path def file_digest(path: Path, chunk_size: int = 1024 * 1024) -> str: digest = hashlib.sha256() with path.open("rb") as handle: while block := handle.read(chunk_size): digest.update(block) return digest.hexdigest() def main() -> int: parser = argparse.ArgumentParser(description="Загрузка папки в S3") parser.add_argument("--source", type=Path, required=True) parser.add_argument("--bucket", required=True) parser.add_argument("--prefix", default="", help="Префикс ключей в бакете") parser.add_argument("--endpoint-url", default=os.environ.get("S3_ENDPOINT_URL", "")) parser.add_argument("--apply", action="store_true", help="Выполнить загрузку") parser.add_argument("--report", type=Path, help="Сохранить отчёт в новый JSON") args = parser.parse_args() source = args.source.expanduser().resolve() if not source.is_dir(): parser.error(f"Источник не найден: {source}") if not args.bucket.strip(): parser.error("Имя бакета не может быть пустым") try: import boto3 except ImportError: print("boto3 не установлен. Выполните: python -m pip install boto3", file=sys.stderr) return 3 files = [path for path in source.rglob("*") if path.is_file() and not path.is_symlink()] if not files: print("В источнике нет файлов.") return 1 stamp = time.strftime("%Y%m%d-%H%M%S") + f"-{time.time_ns() % 1000000:06d}" prefix = args.prefix.strip("/") prefix_part = f"{prefix}/{stamp}" if prefix else stamp endpoint = args.endpoint_url.strip() or None if not args.apply: for path in files: relative = path.relative_to(source).as_posix() print(f"s3://{args.bucket}/{prefix_part}/{relative} ({path.stat().st_size} байт)") print("Предпросмотр. Для загрузки добавьте --apply.") return 0 session = boto3.session.Session() client = session.client("s3", endpoint_url=endpoint) uploaded = [] failed = 0 for path in files: relative = path.relative_to(source).as_posix() key = f"{prefix_part}/{relative}" digest = file_digest(path) try: client.upload_file( str(path), args.bucket, key, ExtraArgs={"Metadata": {"sha256": digest}}, ) uploaded.append({"key": key, "size": path.stat().st_size, "sha256": digest}) print(f"Загружено: {key}") except Exception as error: failed += 1 print(f"Ошибка {relative}: {error}", file=sys.stderr) if args.report: report_path = args.report.expanduser().resolve() if report_path.exists(): print(f"Отчёт уже существует: {report_path}", file=sys.stderr) return 2 report_path.write_text( json.dumps({"bucket": args.bucket, "prefix": prefix_part, "files": uploaded}, ensure_ascii=False, indent=2) + "\n", encoding="utf-8", ) print(f"Отчёт: {report_path}") print(f"Файлов: {len(files)}, загружено: {len(uploaded)}, ошибок: {failed}") return 1 if failed else 0 if __name__ == "__main__": sys.exit(main())