Найти битые ссылки на странице
Проверяет ссылки со страницы последовательно и показывает коды ответов.
Что делает скрипт
Скрипт загружает HTML, собирает ссылки и проверяет их методом HEAD с запасным GET. По умолчанию проверяются только ссылки того же хоста, внешние включаются флагом. Запросы идут по одному с таймаутом, поэтому это не нагрузочный тест.
- Проверка идёт последовательно и не предназначена для нагрузки на чужие сайты.
Быстрый старт
python broken_links.py https://example.com/
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
В Linux и macOS интерпретатор может называться python3, в Windows - python или py.
Другие варианты
python broken_links.py http://127.0.0.1:8000/ --max-links 50python broken_links.py https://example.com/ --external --json report.json
Что понадобится
winget install Python.Python.3.12
brew install python
sudo apt install python3
py -m pip install requests
python3 -m pip install requests
python3 -m pip install requests
py -m pip install beautifulsoup4
python3 -m pip install beautifulsoup4
python3 -m pip install beautifulsoup4
broken_links.py
#!/usr/bin/env python3
"""Поиск битых ссылок на одной странице."""
from __future__ import annotations
import argparse
import json
from pathlib import Path
from urllib.parse import urljoin, urlsplit
import requests
from bs4 import BeautifulSoup
def main() -> int:
parser = argparse.ArgumentParser(description="Найти битые ссылки")
parser.add_argument("url", nargs="?", default="https://example.com/")
parser.add_argument("--max-links", type=int, default=100)
parser.add_argument("--timeout", type=float, default=10.0)
parser.add_argument("--external", action="store_true", help="Проверять чужие хосты")
parser.add_argument("--json", type=Path, help="Сохранить отчёт")
args = parser.parse_args()
session = requests.Session()
session.headers["User-Agent"] = "popovdev-scriptdock/1.0"
try:
page = session.get(args.url, timeout=args.timeout)
except requests.RequestException as error:
print(f"Не удалось загрузить страницу: {error}")
return 2
if page.status_code >= 400:
print(f"Страница вернула {page.status_code}")
return 2
base_host = urlsplit(page.url).hostname
soup = BeautifulSoup(page.content, "html.parser")
links: list[str] = []
seen: set[str] = set()
for tag in soup.find_all(["a", "link"]):
href = tag.get("href")
if not href or href.startswith(("#", "mailto:", "tel:", "javascript:")):
continue
absolute = urljoin(page.url, href.strip())
parts = urlsplit(absolute)
if parts.scheme not in {"http", "https"}:
continue
if not args.external and parts.hostname != base_host:
continue
clean = absolute.split("#", 1)[0]
if clean not in seen:
seen.add(clean)
links.append(clean)
if len(links) >= args.max_links:
break
print(f"Проверяю ссылок: {len(links)}")
broken = []
for link in links:
try:
response = session.head(link, timeout=args.timeout, allow_redirects=True)
if response.status_code in {405, 501}:
response = session.get(link, timeout=args.timeout, allow_redirects=True, stream=True)
response.close()
status = response.status_code
except requests.RequestException as error:
status = None
print(f" ошибка {link} ({error.__class__.__name__})")
else:
mark = "ok" if status < 400 else "битая"
print(f" {status:<6} {mark:<6} {link}")
if status is None or status >= 400:
broken.append({"url": link, "status": status})
print(f"Битых ссылок: {len(broken)}")
if args.json:
args.json.write_text(json.dumps(broken, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
print(f"Отчёт: {args.json}")
return 0 if not broken else 1
if __name__ == "__main__":
raise SystemExit(main())
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.