Verificador de links quebrados

Propósito e intenção do usuário: Identificar links quebrados em um site para apoiar SEO, qualidade de conteúdo e experiência do usuário. Usuários-alvo incluem administradores de sites, profissionais de SEO, editores de conteúdo e desenvolvedores. Use após publicação, migração de site, reestruturação de URL ou antes de auditorias importantes para revelar 404, 410 e cadeias de redirecionamento.
Lógica principal e recursos: Requer site_url e crawl_depth opcional. A ferramenta rastreia páginas, extrai hyperlinks, resolve URLs relativas e normaliza domínios. Valida links por meio de solicitações HTTP, segue redirects até o destino final e marca como quebrado os estados finais 4xx/5xx ou não resolvíveis. Saídas incluem dados por link e um resumo. Opcional: crawling baseado em sitemap, escopo no domínio, padrões include/exclude, formatos de exportação (CSV/JSON), controles de concorrência.
Entradas e Saídas: Entradas: site_url (string, obrigatório), crawl_depth (int, opcional, padrão 2), max_pages (int, opcional), include_patterns (array), exclude_patterns (array), timeout_seconds (int, opcional). Saídas: array broken_links com itens { url, final_url, status_code, found_on_page, anchor_text, page_url, last_checked } e totais.
Algoritmos & Cálculos: Requisições HEAD primeiro; fallback para GET; seguir redirecionamentos; deduplicar URLs; ignorar links não-http(s); restrição de domínio se configurado. Calcula broken_count e percentagem.
Erros & Casos Limites: URL inválida ou esquema não-http(s) gera erro de entrada. Timeouts, falhas de DNS ou limites de taxa podem gerar resultados parciais. Sites grandes podem exigir processamento em lotes; robots.txt pode bloquear a varredura. Páginas protegidas por autenticação são ignoradas por padrão. Links renderizados por JS podem ser perdidos se o modo de renderização não estiver ativo.
Indústria/Região & Localização: Usa semântica HTTP padrão segundo RFC 7231. Timeouts em segundos; respeita localização nas exportações; suporta URLs internacionalizados.
Suposições & Exclusões: Supõe acesso a páginas publicamente acessíveis ou internas autorizadas. Exclui conteúdo protegido por senha, recursos com acesso restrito e conteúdo dinâmico que requer renderização do lado do cliente, a menos que seja configurado.