Robot FindFiles.net : objectif, technologie et coordonnées

Le bot FindFiles.net est conçu pour vérifier la disponibilité de fichiers librement accessibles sur Internet. Il fonctionne de manière transparente et respecte les meilleures pratiques afin de minimiser la charge des serveurs et de maximiser l’efficacité.

Fonctionnalités clés

Pourquoi la transparence est importante

Le bot FindFiles.net est conçu dans une logique de transparence totale afin d’instaurer la confiance avec les administrateurs de sites web. En s’identifiant clairement dans l’URL de référence, les journaux des serveurs peuvent facilement retracer l’origine des requêtes. Cela aide les administrateurs à distinguer notre bot de crawlers potentiellement malveillants.

Utilisation prévue

Le bot vérifie principalement la disponibilité des fichiers recherchés par les utilisateurs via FindFiles.net, sans en télécharger ni en stocker le contenu, en se limitant strictement aux ressources publiques. Toutefois, afin d’améliorer l’expérience utilisateur et de garantir la sécurité, nous pouvons télécharger des images et des vidéos à des fins de classification, afin de vérifier leur pertinence pour la recherche. De plus, nous pouvons télécharger des fichiers exécutables pour vérifier qu’ils sont sûrs à utiliser, garantissant ainsi une expérience sécurisée pour nos utilisateurs.

Identité du crawler

FindFilesBot s’identifie actuellement avec les informations de crawler suivantes :

User-Agents publiés

Plusieurs agents FindFiles.net peuvent utiliser le même nom d’hôte et la même adresse IP vérifiés du crawler. Chaque agent publie un User-Agent propre à son usage afin que les administrateurs puissent comprendre pourquoi une requête a été effectuée.

User-Agent Description
FindFilesBot/1.0 (+https://findfiles.net/en/bot) Identité générale du crawler pour la découverte de fichiers publics et les vérifications de disponibilité.
FindFiles.net-LinkChecker/1.1 https://findfiles.net/bot Vérifie si les URL de fichiers publics sont encore accessibles et enregistre les signaux de disponibilité HTTP.
FindFiles.net-FaviconFetcher/1.0 (+https://findfiles.net/bot) Récupère les favicons de sites pour l’attribution des sources et le contexte visuel dans les résultats de recherche.
FindFiles.net-VirusScan/1.0 (+https://findfiles.net/bot) Télécharge les fichiers nécessitant des contrôles de sécurité, comme les types exécutables ou risqués, pour analyse anti-malware.
FindFiles.net-ImageNSFWClassifier/1.0 (+https://findfiles.net/bot) Récupère les images pour la classification automatisée de sécurité et le filtrage du contenu adulte.

Vérification FCrDNS pour les propriétaires de sites

Les propriétaires de sites peuvent vérifier FindFilesBot en confirmant que le DNS inverse pointe vers le nom d’hôte du crawler et que ce nom d’hôte se résout à nouveau vers la même IP du crawler.

dig +short -x 65.21.31.180
# bot.findfiles.net.

dig +short bot.findfiles.net
# 65.21.31.180

Des questions ou des préoccupations ?

Si vous êtes administrateur d’un site web et que vous avez des questions concernant le bot FindFiles.net, veuillez nous contacter. Nous nous engageons à garantir que nos opérations soient respectueuses, économes en ressources et conformes aux standards du Web.