Бэкап в S3-совместимое хранилище
Загружает папку в бакет S3 по префиксу с меткой времени и берёт учётные данные из окружения.
Что делает скрипт
Скрипт использует boto3 и стандартные переменные AWS, не содержит ключей. По умолчанию перечисляет будущие объекты, загрузка включается флагом --apply. Каждый объект получает метаданные SHA-256, отчёт можно сохранить в JSON.
- Проверьте права токена: достаточно доступа только к нужному бакету.
Быстрый старт
python backup_s3.py --source /mnt/backup/site --bucket demo-backup-bucket --prefix site --apply
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python backup_s3.py --source /mnt/backup/site --bucket demo-backup-bucket --prefix sitepython backup_s3.py --source /mnt/backup/site --bucket demo-backup-bucket --prefix site --endpoint-url https://s3.example.com --apply
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
py -m pip install boto3
python3 -m pip install boto3
python3 -m pip install boto3
backup_s3.py
#!/usr/bin/env python3
"""Загрузка резервной копии в S3-совместимое хранилище через boto3."""
from __future__ import annotations
import argparse
import hashlib
import json
import os
import sys
import time
from pathlib import Path
def file_digest(path: Path, chunk_size: int = 1024 * 1024) -> str:
digest = hashlib.sha256()
with path.open("rb") as handle:
while block := handle.read(chunk_size):
digest.update(block)
return digest.hexdigest()
def main() -> int:
parser = argparse.ArgumentParser(description="Загрузка папки в S3")
parser.add_argument("--source", type=Path, required=True)
parser.add_argument("--bucket", required=True)
parser.add_argument("--prefix", default="", help="Префикс ключей в бакете")
parser.add_argument("--endpoint-url", default=os.environ.get("S3_ENDPOINT_URL", ""))
parser.add_argument("--apply", action="store_true", help="Выполнить загрузку")
parser.add_argument("--report", type=Path, help="Сохранить отчёт в новый JSON")
args = parser.parse_args()
source = args.source.expanduser().resolve()
if not source.is_dir():
parser.error(f"Источник не найден: {source}")
if not args.bucket.strip():
parser.error("Имя бакета не может быть пустым")
try:
import boto3
except ImportError:
print("boto3 не установлен. Выполните: python -m pip install boto3", file=sys.stderr)
return 3
files = [path for path in source.rglob("*") if path.is_file() and not path.is_symlink()]
if not files:
print("В источнике нет файлов.")
return 1
stamp = time.strftime("%Y%m%d-%H%M%S") + f"-{time.time_ns() % 1000000:06d}"
prefix = args.prefix.strip("/")
prefix_part = f"{prefix}/{stamp}" if prefix else stamp
endpoint = args.endpoint_url.strip() or None
if not args.apply:
for path in files:
relative = path.relative_to(source).as_posix()
print(f"s3://{args.bucket}/{prefix_part}/{relative} ({path.stat().st_size} байт)")
print("Предпросмотр. Для загрузки добавьте --apply.")
return 0
session = boto3.session.Session()
client = session.client("s3", endpoint_url=endpoint)
uploaded = []
failed = 0
for path in files:
relative = path.relative_to(source).as_posix()
key = f"{prefix_part}/{relative}"
digest = file_digest(path)
try:
client.upload_file(
str(path),
args.bucket,
key,
ExtraArgs={"Metadata": {"sha256": digest}},
)
uploaded.append({"key": key, "size": path.stat().st_size, "sha256": digest})
print(f"Загружено: {key}")
except Exception as error:
failed += 1
print(f"Ошибка {relative}: {error}", file=sys.stderr)
if args.report:
report_path = args.report.expanduser().resolve()
if report_path.exists():
print(f"Отчёт уже существует: {report_path}", file=sys.stderr)
return 2
report_path.write_text(
json.dumps({"bucket": args.bucket, "prefix": prefix_part, "files": uploaded}, ensure_ascii=False, indent=2) + "\n",
encoding="utf-8",
)
print(f"Отчёт: {report_path}")
print(f"Файлов: {len(files)}, загружено: {len(uploaded)}, ошибок: {failed}")
return 1 if failed else 0
if __name__ == "__main__":
sys.exit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.