FindFiles.net 网络爬虫说明：了解检查公开文件可用性的目的、技术、访问频率与联系方式说明

FindFiles.net Bot 旨在检查互联网上可公开访问文件的可用性。它以透明方式运行，并遵循最佳实践，以尽量降低服务器负载并最大化效率。

主要特性

可在日志中识别：该机器人会在引用来源（referral URL）中明确标识自身，并指向本页面 https://www.findfiles.net/bot，以便服务器管理员清晰识别其来源。该行为并非用于生成引用垃圾流量。
HTTP2 高效性：该机器人使用多路复用的 HTTP2 HEAD 请求批量检查文件可用性。每次请求使用单一连接，并在收到响应后立即关闭。
仅限公开文件：机器人只检查可公开访问的文件，尊重服务器权限设置，避免访问任何私有数据。
请求速率限制：对于同一服务器，机器人确保两次请求之间至少间隔 10 秒，以降低对服务器造成的潜在负载。
排除 HTTP/1.1 服务器：HTTP/1.1 服务器将被忽略，因为其在批量操作中需要更多服务器资源，效率也相对较低。

为什么透明性很重要

FindFiles.net Bot 在设计之初就将透明性作为核心原则，以建立与网站管理员之间的信任关系。通过在引用来源中清晰标识自身，服务器日志可以轻松追踪请求来源，从而帮助管理员区分我们的机器人与潜在有害的爬虫。

使用范围说明

该机器人主要用于检查用户通过 FindFiles.net 搜索到的文件是否可用，在此过程中不会下载或存储其内容，并严格遵循仅访问公共资源的原则。然而，为了提升用户体验并确保安全性，我们可能会下载图片和视频用于分类分析，以验证其是否适合出现在搜索结果中。此外，我们也可能下载可执行文件以检查其安全性，从而为用户提供更加安全的使用体验。

爬虫身份信息

FindFilesBot 当前使用以下爬虫身份信息：

爬虫主机名： bot.findfiles.net
爬虫 IP： 65.21.31.180
爬虫 IPv6： 2a01:4f9:3080:2b61::2

公开的 User-Agent

多个 FindFiles.net 代理可能使用同一个已验证的爬虫主机名和 IP 地址。每个代理都会发布针对具体用途的 User-Agent，便于管理员识别请求原因。

User-Agent	说明
`FindFilesBot/1.0 (+https://findfiles.net/en/bot)`	用于公开文件发现和可用性检查的通用爬虫身份。
`FindFiles.net-LinkChecker/1.1 https://findfiles.net/bot`	检查公开文件 URL 是否仍可访问，并记录 HTTP 可用性信号。
`FindFiles.net-FaviconFetcher/1.0 (+https://findfiles.net/bot)`	获取站点 favicon，用于搜索结果中的来源归属和视觉上下文。
`FindFiles.net-VirusScan/1.0 (+https://findfiles.net/bot)`	下载需要安全检查的文件，例如可执行文件或高风险文件类型，用于恶意软件扫描。
`FindFiles.net-ImageNSFWClassifier/1.0 (+https://findfiles.net/bot)`	获取图片用于自动安全分类和成人内容过滤。

面向网站所有者的 FCrDNS 验证

网站所有者可以验证 FindFilesBot：确认反向 DNS 指向爬虫主机名，并确认该主机名正向解析回同一个爬虫 IP。

dig +short -x 65.21.31.180
# bot.findfiles.net.

dig +short bot.findfiles.net
# 65.21.31.180

有疑问或顾虑？

如果你是网站管理员，并且对 FindFiles.net Bot 有任何疑问，欢迎联系我们. 我们致力于确保所有操作都具备尊重性、资源高效性，并符合网络标准。