Mode d'emploi
Sélectionnez l'user-agent
Choisissez pour quels robots créer des règles, ou utilisez '*' pour tous les robots.
Ajoutez les règles allow/disallow
Spécifiez quels chemins autoriser ou bloquer. Utilisez les boutons rapides pour les patterns courants.
Ajoutez le sitemap et téléchargez
Ajoutez l'URL de votre sitemap, puis téléchargez le fichier robots.txt pour l'uploader sur votre serveur.
Fonctionnalités
Questions fréquentes
Robots.txt est un fichier texte placé à la racine de votre site web qui indique aux robots quelles pages ils peuvent ou ne peuvent pas accéder. Il aide à contrôler l'indexation de votre site.
Le fichier robots.txt doit être placé à la racine de votre site web. Par exemple, si votre domaine est example.com, le fichier doit être accessible à example.com/robots.txt.
Créez un fichier robots.txt pour contrôler comment les moteurs de recherche explorent votre site. Autorisez ou bloquez des bots spécifiques, protégez les répertoires sensibles et optimisez votre budget de crawl facilement.
Le saviez-vous ?
Le standard robots.txt a été créé en 1994 et est l'un des plus anciens standards web encore utilisés. Il est basé sur le protocole d'exclusion des robots, un accord volontaire entre webmasters et moteurs de recherche - il n'y a pas de mécanisme d'application !
Conseils de pro
- robots.txt est une suggestion, pas une mesure de sécurité - ne l'utilisez pas pour cacher des données sensibles
- Utilisez 'User-agent: *' pour appliquer les règles à tous les bots
- Incluez toujours l'URL de votre sitemap dans robots.txt
Cas d'utilisation courants
- Bloquer les crawlers des zones d'administration
- Empêcher l'indexation du contenu dupliqué
- Gérer le budget de crawl pour les grands sites
- Bloquer les mauvais bots et scrapers
- Diriger les crawlers vers votre sitemap
Bonnes pratiques
- Testez votre robots.txt avec Google Search Console
- Placez robots.txt dans le répertoire racine de votre site
- Soyez précis avec les chemins pour éviter de bloquer accidentellement du contenu important
Explorer d'autres catégories
Découvrez plus d'outils utiles dans d'autres catégories
Compteur de mots
Comptez les mots, caractères, phrases et paragraphes dans votre texte instantanément.
Formateur JSON
Formatez, validez et embellissez vos données JSON avec coloration syntaxique.
Générateur de QR code
Créez des QR codes pour URLs, texte et plus. Téléchargez en PNG.
Calcul de pourcentage
Calculez les pourcentages, les variations en pourcentage et les pourcentages de nombres.