O Bot do FindFiles.net foi desenvolvido para verificar a disponibilidade de arquivos publicamente acessíveis na internet. Ele opera de forma transparente e segue boas práticas para minimizar a carga nos servidores e maximizar a eficiência.
O Bot do FindFiles.net foi projetado com total transparência para garantir a confiança dos administradores de sites. Ao se identificar claramente na URL de referência, os logs do servidor podem rastrear facilmente a origem das requisições. Isso ajuda a diferenciar nosso bot de crawlers potencialmente maliciosos.
O bot verifica principalmente a disponibilidade de arquivos pesquisados pelos usuários no FindFiles.net, sem baixar ou armazenar seu conteúdo, respeitando estritamente recursos públicos. No entanto, para melhorar a experiência do usuário e garantir a segurança, podemos baixar imagens e vídeos para fins de classificação, verificando sua adequação para a busca. Além disso, podemos baixar arquivos executáveis para verificar se são seguros, garantindo uma experiência protegida para nossos usuários.
O FindFilesBot atualmente se identifica com os seguintes dados do crawler:
bot.findfiles.net
65.21.31.180
2a01:4f9:3080:2b61::2
Vários agentes do FindFiles.net podem usar o mesmo hostname e IP verificados do crawler. Cada agente publica um User-Agent específico de sua finalidade para que administradores possam identificar por que uma requisição foi feita.
| User-Agent | Descrição |
|---|---|
FindFilesBot/1.0 (+https://findfiles.net/en/bot) |
Identidade geral do crawler para descoberta de arquivos públicos e verificações de disponibilidade. |
FindFiles.net-LinkChecker/1.1 https://findfiles.net/bot |
Verifica se URLs públicas de arquivos ainda estão acessíveis e registra sinais de disponibilidade HTTP. |
FindFiles.net-FaviconFetcher/1.0 (+https://findfiles.net/bot) |
Busca favicons de sites para atribuição de fonte e contexto visual nos resultados de busca. |
FindFiles.net-VirusScan/1.0 (+https://findfiles.net/bot) |
Baixa arquivos que precisam de verificações de segurança, como tipos executáveis ou arriscados, para escaneamento de malware. |
FindFiles.net-ImageNSFWClassifier/1.0 (+https://findfiles.net/bot) |
Busca imagens para classificação automática de segurança e filtragem de conteúdo adulto. |
Proprietários de sites podem verificar o FindFilesBot confirmando que o DNS reverso aponta para o hostname do crawler e que esse hostname resolve novamente para o mesmo IP do crawler.
dig +short -x 65.21.31.180
# bot.findfiles.net.
dig +short bot.findfiles.net
# 65.21.31.180Se você é um administrador de site e tem dúvidas sobre o Bot do FindFiles.net, por favor entre em contato conosco. Estamos comprometidos em garantir que nossas operações sejam respeitosas, eficientes em termos de recursos e em conformidade com os padrões da web.