Web и API

Найти битые ссылки на странице

Проверяет ссылки со страницы последовательно и показывает коды ответов.

Python Windows macOS Linux Средний
Скачать broken_links.py
Описание

Что делает скрипт

Скрипт загружает HTML, собирает ссылки и проверяет их методом HEAD с запасным GET. По умолчанию проверяются только ссылки того же хоста, внешние включаются флагом. Запросы идут по одному с таймаутом, поэтому это не нагрузочный тест.

Перед запуском
  • Проверка идёт последовательно и не предназначена для нагрузки на чужие сайты.
Запуск

Быстрый старт

python broken_links.py https://example.com/

Скачайте файл, откройте терминал в папке со скриптом и выполните команду. В Linux и macOS интерпретатор может называться python3, в Windows - python или py.

Примеры

Другие варианты

  • python broken_links.py http://127.0.0.1:8000/ --max-links 50
  • python broken_links.py https://example.com/ --external --json report.json
Зависимости

Что понадобится

Python 3.10+ Интерпретатор Python
Windows winget install Python.Python.3.12
macOS brew install python
Linux sudo apt install python3
Python-пакет requests HTTP-клиент для Python
Windows py -m pip install requests
macOS python3 -m pip install requests
Linux python3 -m pip install requests
Python-пакет beautifulsoup4 Разбор HTML
Windows py -m pip install beautifulsoup4
macOS python3 -m pip install beautifulsoup4
Linux python3 -m pip install beautifulsoup4
Исходник

broken_links.py

#!/usr/bin/env python3
"""Поиск битых ссылок на одной странице."""
from __future__ import annotations

import argparse
import json
from pathlib import Path
from urllib.parse import urljoin, urlsplit

import requests
from bs4 import BeautifulSoup


def main() -> int:
    parser = argparse.ArgumentParser(description="Найти битые ссылки")
    parser.add_argument("url", nargs="?", default="https://example.com/")
    parser.add_argument("--max-links", type=int, default=100)
    parser.add_argument("--timeout", type=float, default=10.0)
    parser.add_argument("--external", action="store_true", help="Проверять чужие хосты")
    parser.add_argument("--json", type=Path, help="Сохранить отчёт")
    args = parser.parse_args()

    session = requests.Session()
    session.headers["User-Agent"] = "popovdev-scriptdock/1.0"
    try:
        page = session.get(args.url, timeout=args.timeout)
    except requests.RequestException as error:
        print(f"Не удалось загрузить страницу: {error}")
        return 2
    if page.status_code >= 400:
        print(f"Страница вернула {page.status_code}")
        return 2

    base_host = urlsplit(page.url).hostname
    soup = BeautifulSoup(page.content, "html.parser")
    links: list[str] = []
    seen: set[str] = set()
    for tag in soup.find_all(["a", "link"]):
        href = tag.get("href")
        if not href or href.startswith(("#", "mailto:", "tel:", "javascript:")):
            continue
        absolute = urljoin(page.url, href.strip())
        parts = urlsplit(absolute)
        if parts.scheme not in {"http", "https"}:
            continue
        if not args.external and parts.hostname != base_host:
            continue
        clean = absolute.split("#", 1)[0]
        if clean not in seen:
            seen.add(clean)
            links.append(clean)
        if len(links) >= args.max_links:
            break

    print(f"Проверяю ссылок: {len(links)}")
    broken = []
    for link in links:
        try:
            response = session.head(link, timeout=args.timeout, allow_redirects=True)
            if response.status_code in {405, 501}:
                response = session.get(link, timeout=args.timeout, allow_redirects=True, stream=True)
                response.close()
            status = response.status_code
        except requests.RequestException as error:
            status = None
            print(f"  ошибка  {link} ({error.__class__.__name__})")
        else:
            mark = "ok" if status < 400 else "битая"
            print(f"  {status:<6} {mark:<6} {link}")
        if status is None or status >= 400:
            broken.append({"url": link, "status": status})

    print(f"Битых ссылок: {len(broken)}")
    if args.json:
        args.json.write_text(json.dumps(broken, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
        print(f"Отчёт: {args.json}")
    return 0 if not broken else 1


if __name__ == "__main__":
    raise SystemExit(main())

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get web-broken-links
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Web и API

HTTP, API, сайты, заголовки, SSL и проверка веб-сервисов.