Ao encontrar um rastreador desconhecido nos logs do servidor, o proprietário de um site precisa saber quem o opera e por que ele está solicitando arquivos. A Cloudflare acaba de aprovar o FindFilesBot por meio do seu processo de inscrição de bots verificados.
Nossa solicitação no Cloudflare BotBase agora mostra o status Approved. Para o FindFiles.net, um mecanismo de busca de arquivos acessíveis ao público, essa é uma etapa útil para tornar nossas requisições automatizadas mais fáceis de reconhecer e avaliar.
O que a Cloudflare aprovou
O bot aprovado é o FindFilesBot, operado por FindFiles.net UG (limited liability). Sua finalidade declarada é realizar o rastreamento para o FindFiles.net, um mecanismo de busca de arquivos públicos. A solicitação registra o acesso como Direct e o uso do conteúdo como reference, com uma lista de IPs como método de comprovação de identidade.
A documentação da Cloudflare sobre bots verificados descreve a verificação em termos de operadores identificáveis e comportamento não abusivo, incluindo o respeito às diretivas de rastreamento e a frequências razoáveis de requisições. A classificação Direct descreve um bot operado por um único operador. Isso corresponde ao objetivo da nossa solicitação, que é identificar as requisições feitas pelo nosso próprio rastreador.
Para os administradores, o benefício é prático. Uma identidade de rastreador reconhecível fornece contexto para decidir como tratar o tráfego automatizado de um site.
Por que isso importa para a descoberta de arquivos
Um resultado útil de busca de arquivos depende de mais do que o nome do arquivo. Um relatório pode ter sido movido, um conjunto de dados pode ter sido retirado ou um link de download pode não funcionar mais. Verificar URLs de arquivos acessíveis ao público ajuda um serviço de busca de arquivos a entender se um recurso ainda está acessível.
O rastreador do FindFiles.net contribui para esse trabalho. Nossa documentação do rastreador descreve a descoberta de arquivos públicos e as verificações de disponibilidade, além de agentes separados para tarefas como buscar ícones de sites e obter arquivos selecionados para verificações automatizadas.
Considere alguém que publique manuais em PDF, conjuntos de dados CSV ou desenhos CAD em seu site. Se essa pessoa quiser que esses recursos possam ser encontrados pelo FindFiles.net, conseguir identificar nossas requisições ajuda a tomar uma decisão de acesso bem fundamentada. A aprovação da Cloudflare contribui para essa identificação. O efeito sobre o acesso continua dependendo das configurações de quem publica.
O FindFiles.net complementa a busca geral na web ao se concentrar no próprio arquivo. Tornar a identidade do rastreador mais clara contribui para esse trabalho no ponto em que nosso serviço interage com o site de quem publica.
A verificação por trás da aprovação
O nome de um rastreador em uma requisição é útil para ler logs, mas outro cliente pode enviar o mesmo texto. A verificação precisa de uma forma de associar a identidade declarada à origem da requisição.
A documentação da Cloudflare sobre validação de IP explica como uma lista de IPs fornecida pelo operador pode ser usada junto com um padrão de correspondência de user-agent. Esse é o método registrado na nossa solicitação aprovada. Ele vincula o reconhecimento aos endereços de rede declarados e ao nome do rastreador.
Enviamos a solicitação do FindFilesBot em 11 de outubro de 2026. Durante a análise, a Cloudflare solicitou alterações na verificação de identidade baseada em DNS, incluindo a possibilidade de verificar a identidade IPv6 publicada e o sufixo de DNS reverso. A solicitação aprovada usa comprovação por lista de IPs. Sua última atualização está datada de 13 de novembro de 2026.
Essa análise destaca uma responsabilidade operacional. As informações de identidade que publicamos e enviamos devem permanecer alinhadas com a infraestrutura que envia nossas requisições.
Cinco user-agents publicados
A solicitação aprovada inclui cinco padrões de user-agent. Eles distinguem o rastreador geral de tarefas mais específicas, ajudando os administradores a entender a finalidade de uma requisição.
| Padrão de user-agent | Finalidade |
|---|---|
FindFilesBot |
Descoberta geral de arquivos públicos e verificações de disponibilidade. |
FindFiles.net-LinkChecker |
Verifica se URLs de arquivos públicos continuam acessíveis. |
FindFiles.net-FaviconFetcher |
Busca ícones de sites para identificar a origem nos resultados de busca. |
FindFiles.net-VirusScan |
Obtém arquivos selecionados para análise de malware. |
FindFiles.net-ImageNSFWClassifier |
Obtém imagens para classificação automatizada de conteúdo adulto e segurança. |
Esses são os padrões de correspondência da solicitação. Os cabeçalhos completos das requisições também podem conter um número de versão e um link para nossa documentação. Os nomes separados explicam por que algumas requisições verificam a disponibilidade, enquanto outras obtêm conteúdo para uma tarefa específica de processamento.
Os proprietários de sites mantêm o controle
Para verificar uma requisição que afirma vir do FindFiles.net, compare o IP real do cliente com os endereços publicados do nosso rastreador e examine o user-agent. As etapas a seguir funcionam independentemente de você decidir permitir o acesso do rastreador.
1. Encontre a requisição no log de acesso
Para um log de acesso do Nginx, este comando encontra entradas que contêm um dos nomes de agentes que publicamos. Ajuste o caminho para o seu servidor. Um local comum no Apache é /var/log/apache2/access.log. O formato do log deve incluir o user-agent.
grep -E 'FindFilesBot|FindFiles[.]net-(LinkChecker|FaviconFetcher|VirusScan|ImageNSFWClassifier)' \
/var/log/nginx/access.log
Leia o IP do cliente e o user-agent de cada entrada encontrada. Verifique se o nome do agente aparece no campo user-agent. Uma correspondência em outra parte da linha, como em uma URL solicitada, não identifica o rastreador. Outro cliente também pode copiar um user-agent, portanto prossiga com a verificação do endereço.
Atrás da Cloudflare, o log do servidor de origem pode mostrar o endereço de um proxy da Cloudflare. Use o IP original do cliente restaurado pela configuração de proxies confiáveis do seu servidor. A Cloudflare documenta como restaurar os IPs dos visitantes usando cabeçalhos como CF-Connecting-IP. Confie nesses cabeçalhos apenas em conexões provenientes dos proxies confiáveis configurados. Um cabeçalho fornecido diretamente por um cliente não confiável não comprova a origem.
2. Compare o IP do cliente com nossa lista de IPs atual
Obtenha a lista pública de IPs do rastreador por HTTPS:
curl --fail --silent --show-error https://findfiles.net/bot-ips.txt
Em 15 de novembro de 2026, a resposta contém:
65.21.31.180
2a01:4f9:3080:2b61::2
O IP do cliente da requisição deve corresponder a um endereço da lista atual. Junto com um user-agent publicado, isso identifica a requisição como proveniente da infraestrutura declarada do nosso rastreador. Compare os endereços IPv6 numericamente se a formatação for diferente. As formas expandida e compactada podem representar o mesmo endereço.
Se o download falhar, a verificação estará incompleta. Se o endereço não estiver presente, você não poderá confirmar a requisição por meio da nossa lista de IPs. Ao investigar o tráfego, obtenha a lista atual em vez de depender da versão da lista apresentada neste artigo.
3. Combine a verificação da Cloudflare com o endereço de origem
No editor de expressões de uma regra personalizada do WAF da Cloudflare, a condição a seguir corresponde a requisições de bots verificados provenientes dos endereços listados acima:
cf.client.bot
and ip.src in {65.21.31.180 2a01:4f9:3080:2b61::2}
O campo cf.client.bot da Cloudflare identifica bots verificados de modo geral. Combiná-lo com nossos endereços de origem restringe a correspondência à infraestrutura que publicamos. Use a tabela de user-agents acima para identificar a tarefa e atualize os endereços nas expressões salvas caso nossa lista publicada mude.
Essa expressão define uma condição de correspondência. A ação da regra continua sendo uma escolha sua. Mantenha as preferências de rastreamento e as restrições de acesso do seu site. Se uma requisição parecer incompatível com nossa documentação, use o link de contato na página do bot para nos enviar o horário registrado, o IP do cliente e o user-agent.
Onde encontrar os detalhes do nosso rastreador
A aprovação da Cloudflare é um marco bem-vindo para o FindFiles.net. Ela contribui para uma relação prática entre um serviço de busca de arquivos e os responsáveis pela publicação dos recursos públicos que ele ajuda as pessoas a descobrir.
Se você administra um site e encontra nosso rastreador nos logs, consulte a documentação do bot do FindFiles.net para ver a identidade publicada, as descrições dos agentes e as informações de contato.