深色背景上,白色圆圈内呈现黑色 FindFiles.net 字母标志。

FindFilesBot 现已通过 Cloudflare 验证 – 在线查找公开文件、指定格式、可下载资源与实用资料的完整指南和搜索技巧

Cloudflare 已批准 FindFilesBot。本文介绍我们如何标识爬虫,以及此次批准对公开文件发现和网站所有者意味着什么。

Dr. Gregor Kaczor

Dr. Gregor Kaczor

FindFiles.net 创始人
2026年11月15日 8 分钟

网站所有者在服务器日志中发现陌生爬虫时,需要知道它由谁运营,以及为什么请求文件。Cloudflare 现已通过其已验证机器人申请流程批准 FindFilesBot。

我们在 Cloudflare BotBase 中提交的申请现已显示为 Approved 状态。对于专门搜索公开可访问文件的 FindFiles.net 而言,这是有益的一步,有助于让我们的自动化请求更容易被识别和评估。

Cloudflare 批准了什么

获批的机器人是 FindFilesBot,运营方为 FindFiles.net UG (limited liability)。其申报用途是为 FindFiles.net 这一公开文件搜索引擎执行爬取。申请记录中的访问类型为 Direct,内容用途为 reference,身份核验方式为 IP 地址列表。

Cloudflare 的已验证机器人文档从运营方可识别和行为不滥用两个方面说明验证要求,其中包括遵守爬取指令并保持合理的请求频率。Direct 标签表示由单一运营方运行的机器人。这与我们提交申请的目的相符,即识别由我们自己的爬虫发出的请求。

对管理员而言,其价值很具体。可识别的爬虫身份有助于判断应如何处理网站收到的自动化流量。

这对文件发现为何重要

有用的文件搜索结果不仅取决于文件名。报告可能已被移动,数据集可能已被撤下,下载链接也可能已经失效。检查公开可访问的文件 URL,可以帮助文件搜索服务了解资源是否仍可访问。

FindFiles.net 的爬虫为这项工作提供支持。我们的爬虫文档介绍了公开文件发现和可用性检查,也说明了负责获取网站图标、获取选定文件以进行自动检查等任务的不同代理。

例如,某个发布方在网站上提供 PDF 手册、CSV 数据集或 CAD 图纸。如果它希望用户能通过 FindFiles.net 发现这些资源,识别我们的请求就能帮助它作出有依据的访问决策。Cloudflare 的批准有助于进行这类识别。实际访问效果仍取决于发布方的设置。

FindFiles.net 专注于文件本身,是通用网页搜索的补充。让爬虫身份更加清晰,有助于我们在与发布方网站交互时开展这项工作。

批准背后的身份验证

请求中的爬虫名称有助于阅读日志,但其他客户端也能发送相同的文本。因此,验证需要有办法将声明的身份与请求来源联系起来。

Cloudflare 的IP 验证文档介绍了如何将运营方提供的 IP 地址列表与 User-Agent 匹配模式结合使用。这正是我们获批申请中记录的方法。它将识别依据同时关联到声明的网络地址和爬虫名称。

我们于 2026 年 10 月 11 日提交 FindFilesBot 申请。在审核过程中,Cloudflare 要求调整基于 DNS 的身份验证,包括让已公布的 IPv6 身份能够被核验,以及调整反向 DNS 后缀。获批申请使用 IP 地址列表进行身份核验,其最后更新日期为 2026 年 11 月 13 日。

这次审核也强调了一项运营责任:我们公布和提交的身份信息必须始终与实际发送请求的基础设施保持一致。

五个已公布的 User-Agent

获批申请包含五个 User-Agent 匹配模式,用来区分通用爬虫与更具体的任务,帮助管理员理解请求的用途。

User-Agent 匹配模式 用途
FindFilesBot 通用公开文件发现与可用性检查。
FindFiles.net-LinkChecker 检查公开文件 URL 是否仍可访问。
FindFiles.net-FaviconFetcher 获取网站图标,以便在搜索结果中标识来源。
FindFiles.net-VirusScan 获取选定文件进行恶意软件扫描。
FindFiles.net-ImageNSFWClassifier 获取图像,进行成人内容和安全性的自动分类。

这些是申请中的匹配模式。完整请求头还可能包含版本号和指向我们文档的链接。不同名称说明了为什么部分请求只检查可用性,而另一些请求会为特定处理任务获取内容。

网站所有者仍掌握控制权

要核验一个自称来自 FindFiles.net 的请求,请将其真实客户端 IP 与我们公布的爬虫地址进行比较,并检查 User-Agent。无论您最终是否允许爬虫访问,都可以使用以下步骤。

1. 在访问日志中找到请求

对于 Nginx 访问日志,以下命令可以找出包含我们某个已公布代理名称的记录。请根据服务器情况调整路径。Apache 常见的日志位置是 /var/log/apache2/access.log。日志格式必须包含 User-Agent。

grep -E 'FindFilesBot|FindFiles[.]net-(LinkChecker|FaviconFetcher|VirusScan|ImageNSFWClassifier)' \
  /var/log/nginx/access.log

读取每条候选记录中的客户端 IP 和 User-Agent。确认代理名称出现在 User-Agent 字段中;如果只在行内其他位置匹配到,例如请求的 URL 中,就不能据此识别爬虫。其他客户端也能复制 User-Agent,因此还需要继续检查地址。

在使用 Cloudflare 代理时,源站日志可能显示 Cloudflare 的代理地址。请使用服务器可信代理配置所还原的原始客户端 IP。Cloudflare 文档介绍了如何还原访客 IP,其中会用到 CF-Connecting-IP 等请求头。仅当连接来自已配置的可信代理时才信任这些请求头;不可信客户端直接提供的请求头不能证明来源。

2. 将客户端 IP 与我们当前的 IP 列表比较

通过 HTTPS 获取公开爬虫 IP 列表:

curl --fail --silent --show-error https://findfiles.net/bot-ips.txt

截至 2026 年 11 月 15 日,响应内容为:

65.21.31.180
2a01:4f9:3080:2b61::2

请求的客户端 IP 必须与当前列表中的一个地址匹配。结合已公布的 User-Agent,即可将该请求识别为来自我们声明的爬虫基础设施。如果 IPv6 地址的写法不同,请比较其数值;展开形式和压缩形式可能代表同一个地址。

如果下载失败,核验尚未完成。如果地址不在列表中,就无法通过我们的 IP 列表确认该请求。调查流量时应获取最新列表,不要仅依赖本文列出的地址快照。

3. 将 Cloudflare 验证与来源地址结合

在 Cloudflare WAF 自定义规则的表达式编辑器中,以下条件可匹配来自上述地址的已验证机器人请求:

cf.client.bot
and ip.src in {65.21.31.180 2a01:4f9:3080:2b61::2}

Cloudflare 的 cf.client.bot 字段用于识别一般意义上的已验证机器人。将其与我们的来源地址结合,可以把匹配范围缩小到我们公布的基础设施。使用上方的 User-Agent 表格识别具体任务,并在我们的公开列表变化时更新已保存表达式中的地址。

此表达式只定义匹配条件,规则采取何种操作仍由您决定。请保留网站的爬取偏好和访问限制。如果某个请求看起来与我们的文档不符,请通过机器人页面上的联系链接,向我们提供其时间戳、客户端 IP 和 User-Agent。

在哪里查看我们的爬虫信息

获得 Cloudflare 批准是 FindFiles.net 一个值得欢迎的里程碑。它有助于文件搜索服务与发布方建立务实的协作关系,让人们发现发布方提供的公开资源。

如果您管理网站并在日志中看到我们的爬虫,请查看 FindFiles.net 机器人文档,了解我们公布的身份信息、代理说明和联系方式。

常见问题(FAQ)

Cloudflare 已批准 FindFilesBot 吗?
是的。我们在 Cloudflare BotBase 中提交的 FindFilesBot 申请已处于 Approved 状态。运营方为 FindFiles.net UG (limited liability)。
FindFilesBot 如何进行身份验证?
获批申请使用 IP 地址列表进行身份核验,并包含五个 FindFiles.net User-Agent 匹配模式。仅凭 User-Agent 名称不足以确认请求来自我们。
网站所有者仍可控制 FindFilesBot 的访问吗?
可以。网站所有者仍可设置爬取偏好和安全规则。验证为这些决策提供更多信息,并不授予不受限制的访问权限。
此次批准是否认证了通过 FindFiles.net 找到的文件?
不是。批准针对的是爬虫。选择文件时,用户仍应在下载或使用前评估其来源、版本、许可和适用性。