Schwarzes FindFiles.net-Monogramm in einem weißen Kreis vor dunklem Hintergrund.

FindFilesBot ist jetzt ein verifizierter Bot bei Cloudflare

Cloudflare hat FindFilesBot zugelassen. Wir erklären, wie unser Crawler identifiziert wird und was die Zulassung für die Suche nach öffentlichen Dateien und für Website-Betreiber bedeutet.

Dr. Gregor Kaczor

Dr. Gregor Kaczor

Gründer von FindFiles.net
15.11.2026 8 Min.

Wenn ein Website-Betreiber einen unbekannten Crawler in den Serverprotokollen entdeckt, muss er wissen, wer ihn betreibt und warum er Dateien anfordert. Cloudflare hat FindFilesBot jetzt im Rahmen seines Einreichungsverfahrens für verifizierte Bots zugelassen.

Unsere Einreichung in Cloudflare BotBase zeigt nun den Status Approved. Für FindFiles.net, eine Suchmaschine für öffentlich zugängliche Dateien, ist dies ein hilfreicher Schritt, um unsere automatisierten Anfragen leichter erkennbar und besser einschätzbar zu machen.

Was Cloudflare zugelassen hat

Der zugelassene Bot heißt FindFilesBot und wird von FindFiles.net UG (limited liability) betrieben. Als Zweck ist das Crawling für FindFiles.net, eine Suchmaschine für öffentliche Dateien, angegeben. Die Einreichung führt den Zugriffstyp Direct und die Inhaltsnutzung reference auf. Als Methode zur Bestätigung der Identität dient eine IP-Liste.

Cloudflares Dokumentation zu verifizierten Bots beschreibt die Verifizierung anhand identifizierbarer Betreiber und eines nicht missbräuchlichen Verhaltens. Dazu gehören die Einhaltung von Crawling-Vorgaben und angemessene Anfrageraten. Die Kennzeichnung Direct bezeichnet einen Bot, der von einem einzigen Betreiber betrieben wird. Das entspricht dem Zweck unserer Einreichung: Anfragen unseres eigenen Crawlers identifizierbar zu machen.

Für Administratoren hat dies einen praktischen Nutzen. Eine erkennbare Crawler-Identität liefert Kontext für die Entscheidung, wie automatisierte Zugriffe auf eine Website behandelt werden sollen.

Warum das für die Dateisuche wichtig ist

Ein hilfreiches Suchergebnis für eine Datei hängt von mehr als ihrem Namen ab. Ein Bericht kann verschoben, ein Datensatz zurückgezogen oder ein Downloadlink ungültig geworden sein. Die Prüfung öffentlich zugänglicher Datei-URLs hilft einem Dateisuchdienst festzustellen, ob eine Ressource noch erreichbar ist.

Der Crawler von FindFiles.net unterstützt diese Arbeit. Unsere Crawler-Dokumentation beschreibt die Suche nach öffentlichen Dateien und die Prüfung ihrer Verfügbarkeit. Sie erläutert außerdem separate Agents für Aufgaben wie das Abrufen von Website-Symbolen und ausgewählten Dateien für automatisierte Prüfungen.

Ein Herausgeber stellt beispielsweise PDF-Handbücher, CSV-Datensätze oder CAD-Zeichnungen auf seiner Website bereit. Möchte er diese Ressourcen über FindFiles.net auffindbar machen, hilft ihm die Identifizierung unserer Anfragen bei einer fundierten Zugriffsentscheidung. Cloudflares Zulassung unterstützt diese Identifizierung. Welche Auswirkungen das auf den Zugriff hat, hängt weiterhin von den Einstellungen des Herausgebers ab.

FindFiles.net ergänzt die allgemeine Websuche, indem es die Datei selbst in den Mittelpunkt stellt. Eine klarere Crawler-Identität unterstützt diese Arbeit dort, wo unser Dienst mit der Website eines Herausgebers interagiert.

Die Verifizierung hinter der Zulassung

Ein Crawler-Name in einer Anfrage erleichtert das Lesen von Protokollen, doch ein anderer Client kann denselben Text senden. Die Verifizierung benötigt daher eine Möglichkeit, die behauptete Identität mit der Quelle der Anfrage zu verknüpfen.

Cloudflares Dokumentation zur IP-Validierung erklärt, wie eine vom Betreiber bereitgestellte IP-Liste zusammen mit einem User-Agent-Muster verwendet werden kann. Diese Methode ist in unserer zugelassenen Einreichung vermerkt. Sie verknüpft die Erkennung sowohl mit den angegebenen Netzwerkadressen als auch mit dem Namen des Crawlers.

Wir haben FindFilesBot am 11. Oktober 2026 eingereicht. Im Rahmen der Prüfung forderte Cloudflare Änderungen an der DNS-basierten Identitätsprüfung an. Dabei ging es unter anderem um die Überprüfbarkeit der veröffentlichten IPv6-Identität und das Reverse-DNS-Suffix. Die zugelassene Einreichung verwendet die Bestätigung per IP-Liste. Als letzte Aktualisierung ist der 13. November 2026 vermerkt.

Diese Prüfung verdeutlicht eine betriebliche Verantwortung: Die Identitätsangaben, die wir veröffentlichen und einreichen, müssen mit der Infrastruktur übereinstimmen, von der unsere Anfragen ausgehen.

Fünf veröffentlichte User-Agents

Die zugelassene Einreichung enthält fünf User-Agent-Muster. Sie unterscheiden den allgemeinen Crawler von spezifischeren Aufgaben und helfen Administratoren, den Zweck einer Anfrage zu verstehen.

User-Agent-Muster Zweck
FindFilesBot Allgemeine Suche nach öffentlichen Dateien und Prüfung ihrer Verfügbarkeit.
FindFiles.net-LinkChecker Prüft, ob öffentliche Datei-URLs weiterhin erreichbar sind.
FindFiles.net-FaviconFetcher Ruft Website-Symbole zur Kennzeichnung der Quelle in Suchergebnissen ab.
FindFiles.net-VirusScan Ruft ausgewählte Dateien zur Malware-Prüfung ab.
FindFiles.net-ImageNSFWClassifier Ruft Bilder zur automatisierten Klassifizierung hinsichtlich nicht jugendfreier Inhalte und Sicherheit ab.

Dies sind die Erkennungsmuster aus der Einreichung. Vollständige Anfrage-Header können zusätzlich eine Versionsnummer und einen Link zu unserer Dokumentation enthalten. Die unterschiedlichen Namen erklären, warum manche Anfragen die Verfügbarkeit prüfen und andere Inhalte für einen bestimmten Verarbeitungsschritt abrufen.

Website-Betreiber behalten die Kontrolle

Um eine Anfrage zu prüfen, die vorgibt, von FindFiles.net zu stammen, vergleichen Sie ihre tatsächliche Client-IP mit unseren veröffentlichten Crawler-Adressen und sehen Sie sich den User-Agent an. Die folgenden Schritte sind unabhängig davon, ob Sie dem Crawler Zugriff gewähren möchten.

1. Finden Sie die Anfrage im Zugriffsprotokoll

Bei einem Nginx-Zugriffsprotokoll findet dieser Befehl Einträge, die einen unserer veröffentlichten Agent-Namen enthalten. Passen Sie den Pfad an Ihren Server an. Ein üblicher Speicherort bei Apache ist /var/log/apache2/access.log. Ihr Protokollformat muss den User-Agent enthalten.

grep -E 'FindFilesBot|FindFiles[.]net-(LinkChecker|FaviconFetcher|VirusScan|ImageNSFWClassifier)' \
  /var/log/nginx/access.log

Lesen Sie die Client-IP und den User-Agent aus jedem gefundenen Eintrag. Prüfen Sie, ob der Agent-Name im User-Agent-Feld steht. Ein Treffer an einer anderen Stelle der Zeile, etwa in einer angeforderten URL, identifiziert den Crawler nicht. Auch ein anderer Client kann einen User-Agent kopieren. Fahren Sie deshalb mit der Adressprüfung fort.

Hinter Cloudflare kann Ihr Ursprungsserver eine Cloudflare-Proxy-Adresse protokollieren. Verwenden Sie die ursprüngliche Client-IP, die über die Konfiguration vertrauenswürdiger Proxys Ihres Servers wiederhergestellt wurde. Cloudflare dokumentiert, wie sich Besucher-IP-Adressen wiederherstellen lassen, etwa mithilfe des Headers CF-Connecting-IP. Vertrauen Sie solchen Headern nur bei Verbindungen von Ihren konfigurierten vertrauenswürdigen Proxys. Ein Header, den ein nicht vertrauenswürdiger Client direkt übermittelt, ist kein Herkunftsnachweis.

2. Vergleichen Sie die Client-IP mit unserer aktuellen IP-Liste

Rufen Sie die öffentliche Crawler-IP-Liste über HTTPS ab:

curl --fail --silent --show-error https://findfiles.net/bot-ips.txt

Mit Stand vom 15. November 2026 enthält die Antwort:

65.21.31.180
2a01:4f9:3080:2b61::2

Die Client-IP der Anfrage muss mit einer Adresse in der aktuellen Liste übereinstimmen. Zusammen mit einem veröffentlichten User-Agent weist dies die Anfrage als Zugriff aus unserer angegebenen Crawler-Infrastruktur aus. Vergleichen Sie IPv6-Adressen numerisch, falls sich die Schreibweise unterscheidet. Die ausgeschriebene und die komprimierte Form können dieselbe Adresse darstellen.

Wenn der Download fehlschlägt, ist die Prüfung unvollständig. Fehlt die Adresse, können Sie die Anfrage nicht anhand unserer IP-Liste bestätigen. Rufen Sie bei der Untersuchung von Zugriffen die aktuelle Liste ab, statt sich auf den Stand in diesem Artikel zu verlassen.

3. Kombinieren Sie die Cloudflare-Verifizierung mit der Quelladresse

Im Ausdruckseditor einer benutzerdefinierten Cloudflare-WAF-Regel erfasst die folgende Bedingung Anfragen verifizierter Bots von den oben aufgeführten Adressen:

cf.client.bot
and ip.src in {65.21.31.180 2a01:4f9:3080:2b61::2}

Cloudflares Feld cf.client.bot kennzeichnet verifizierte Bots allgemein. In Kombination mit unseren Quelladressen wird die Übereinstimmung auf unsere veröffentlichte Infrastruktur eingegrenzt. Nutzen Sie die User-Agent-Tabelle weiter oben, um die Aufgabe zu erkennen, und aktualisieren Sie die Adressen in gespeicherten Ausdrücken, wenn sich unsere veröffentlichte Liste ändert.

Dieser Ausdruck definiert eine Übereinstimmungsbedingung. Welche Aktion die Regel ausführt, entscheiden weiterhin Sie. Behalten Sie die Crawling-Vorgaben und Zugriffsbeschränkungen Ihrer Website bei. Wenn eine Anfrage von unserer Dokumentation abzuweichen scheint, kontaktieren Sie uns über den Kontaktlink auf der Bot-Seite und teilen Sie uns Zeitstempel, Client-IP und User-Agent mit.

Wo Sie Angaben zu unserem Crawler finden

Cloudflares Zulassung ist ein erfreulicher Meilenstein für FindFiles.net. Sie unterstützt die praktische Zusammenarbeit zwischen einem Dateisuchdienst und den Herausgebern, deren öffentliche Ressourcen er auffindbar macht.

Wenn Sie eine Website verwalten und unseren Crawler in Ihren Protokollen entdecken, finden Sie in der Bot-Dokumentation von FindFiles.net unsere veröffentlichten Identitätsangaben, Agent-Beschreibungen und Kontaktinformationen.

Häufig gestellte Fragen (FAQ)

Hat Cloudflare FindFilesBot zugelassen?
Ja. Unsere Einreichung für FindFilesBot in Cloudflare BotBase hat den Status Approved. Betreiber ist FindFiles.net UG (limited liability).
Wie wird FindFilesBot verifiziert?
Die zugelassene Einreichung verwendet eine IP-Liste zur Bestätigung der Identität und enthält fünf User-Agent-Muster von FindFiles.net. Ein User-Agent-Name allein reicht nicht aus, um nachzuweisen, dass eine Anfrage von uns stammt.
Können Website-Betreiber den Zugriff durch FindFilesBot weiterhin steuern?
Ja. Website-Betreiber legen weiterhin ihre Crawling-Vorgaben und Sicherheitsregeln fest. Die Verifizierung liefert zusätzliche Informationen für diese Entscheidungen und gewährt keinen uneingeschränkten Zugriff.
Zertifiziert die Zulassung Dateien, die über FindFiles.net gefunden werden?
Nein. Die Zulassung bezieht sich auf den Crawler. Bei der Auswahl einer Datei sollten Nutzer weiterhin deren Quelle, Version, Lizenz und Eignung prüfen, bevor sie die Datei herunterladen oder verwenden.