Резервные копии

Бэкап в S3-совместимое хранилище

Загружает папку в бакет S3 по префиксу с меткой времени и берёт учётные данные из окружения.

Python Windows macOS Linux Продвинутый
Скачать backup_s3.py
Описание

Что делает скрипт

Скрипт использует boto3 и стандартные переменные AWS, не содержит ключей. По умолчанию перечисляет будущие объекты, загрузка включается флагом --apply. Каждый объект получает метаданные SHA-256, отчёт можно сохранить в JSON.

Перед запуском
  • Проверьте права токена: достаточно доступа только к нужному бакету.
Запуск

Быстрый старт

python backup_s3.py --source /mnt/backup/site --bucket demo-backup-bucket --prefix site --apply

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python backup_s3.py --source /mnt/backup/site --bucket demo-backup-bucket --prefix site
  • python backup_s3.py --source /mnt/backup/site --bucket demo-backup-bucket --prefix site --endpoint-url https://s3.example.com --apply
Зависимости

Что понадобится

Python 3.10+ Только стандартная библиотека
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
boto3 AWS SDK для Python
Windows py -m pip install boto3
macOS python3 -m pip install boto3
Linux python3 -m pip install boto3
Исходник

backup_s3.py

#!/usr/bin/env python3
"""Загрузка резервной копии в S3-совместимое хранилище через boto3."""
from __future__ import annotations

import argparse
import hashlib
import json
import os
import sys
import time
from pathlib import Path


def file_digest(path: Path, chunk_size: int = 1024 * 1024) -> str:
    digest = hashlib.sha256()
    with path.open("rb") as handle:
        while block := handle.read(chunk_size):
            digest.update(block)
    return digest.hexdigest()


def main() -> int:
    parser = argparse.ArgumentParser(description="Загрузка папки в S3")
    parser.add_argument("--source", type=Path, required=True)
    parser.add_argument("--bucket", required=True)
    parser.add_argument("--prefix", default="", help="Префикс ключей в бакете")
    parser.add_argument("--endpoint-url", default=os.environ.get("S3_ENDPOINT_URL", ""))
    parser.add_argument("--apply", action="store_true", help="Выполнить загрузку")
    parser.add_argument("--report", type=Path, help="Сохранить отчёт в новый JSON")
    args = parser.parse_args()

    source = args.source.expanduser().resolve()
    if not source.is_dir():
        parser.error(f"Источник не найден: {source}")
    if not args.bucket.strip():
        parser.error("Имя бакета не может быть пустым")

    try:
        import boto3
    except ImportError:
        print("boto3 не установлен. Выполните: python -m pip install boto3", file=sys.stderr)
        return 3

    files = [path for path in source.rglob("*") if path.is_file() and not path.is_symlink()]
    if not files:
        print("В источнике нет файлов.")
        return 1

    stamp = time.strftime("%Y%m%d-%H%M%S") + f"-{time.time_ns() % 1000000:06d}"
    prefix = args.prefix.strip("/")
    prefix_part = f"{prefix}/{stamp}" if prefix else stamp
    endpoint = args.endpoint_url.strip() or None

    if not args.apply:
        for path in files:
            relative = path.relative_to(source).as_posix()
            print(f"s3://{args.bucket}/{prefix_part}/{relative} ({path.stat().st_size} байт)")
        print("Предпросмотр. Для загрузки добавьте --apply.")
        return 0

    session = boto3.session.Session()
    client = session.client("s3", endpoint_url=endpoint)
    uploaded = []
    failed = 0

    for path in files:
        relative = path.relative_to(source).as_posix()
        key = f"{prefix_part}/{relative}"
        digest = file_digest(path)
        try:
            client.upload_file(
                str(path),
                args.bucket,
                key,
                ExtraArgs={"Metadata": {"sha256": digest}},
            )
            uploaded.append({"key": key, "size": path.stat().st_size, "sha256": digest})
            print(f"Загружено: {key}")
        except Exception as error:
            failed += 1
            print(f"Ошибка {relative}: {error}", file=sys.stderr)

    if args.report:
        report_path = args.report.expanduser().resolve()
        if report_path.exists():
            print(f"Отчёт уже существует: {report_path}", file=sys.stderr)
            return 2
        report_path.write_text(
            json.dumps({"bucket": args.bucket, "prefix": prefix_part, "files": uploaded}, ensure_ascii=False, indent=2) + "\n",
            encoding="utf-8",
        )
        print(f"Отчёт: {report_path}")

    print(f"Файлов: {len(files)}, загружено: {len(uploaded)}, ошибок: {failed}")
    return 1 if failed else 0


if __name__ == "__main__":
    sys.exit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get backup-s3
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Резервные копии

Резервное копирование, синхронизация, проверка и восстановление данных.

Теги