Générateur de Robots.txt Dynamique

Contrôlez l'accès des crawlers à votre site avec un robots.txt optimisé

Aperçu du robots.txt :

# Robots.txt optimisé - Joey Hamond SEO
# Dernière mise à jour : 2026-04-21
# GEO (Generative Engine Optimization) enabled
# AI Crawlers: Autorisés avec crawl-delay pour meilleure performance

# Sitemap
Sitemap: https://joeyhamondseo.com/sitemap.xml

# Google Search
User-agent: Googlebot
Allow: /

# Bing Search
User-agent: Bingbot
Allow: /
Crawl-delay: 1

# Perplexity AI Search
User-agent: PerplexityBot
Allow: /
Crawl-delay: 2

# Anthropic Claude AI
User-agent: ClaudeBot
Allow: /
Crawl-delay: 2

# OpenAI ChatGPT
User-agent: ChatGPT-User
Allow: /
Crawl-delay: 2

# OpenAI GPT Crawler
User-agent: GPTBot
Allow: /
Crawl-delay: 2

# Google Bard/Gemini AI
User-agent: Google-Extended
Allow: /
Crawl-delay: 2

# Anthropic AI Research
User-agent: anthropic-ai
Allow: /
Crawl-delay: 2

# Omgili AI Crawler
User-agent: Omgilibot
Allow: /
Crawl-delay: 2

# Meta AI (Facebook)
User-agent: FacebookBot
Allow: /
Crawl-delay: 2

# ByteDance AI (TikTok)
User-agent: Bytespider
Allow: /
Crawl-delay: 2

# Image Analysis AI
User-agent: ImagesiftBot
Allow: /
Crawl-delay: 2

# Twitter/X Link Preview
User-agent: Twitterbot
Allow: /

# Facebook Link Preview
User-agent: facebookexternalhit
Allow: /

# LinkedIn Link Preview
User-agent: LinkedInBot
Allow: /

# WhatsApp Link Preview
User-agent: WhatsApp
Allow: /

# Slack Link Preview
User-agent: Slackbot
Allow: /

# Apple Search & Siri
User-agent: Applebot
Allow: /

# Tous les autres crawlers
User-agent: *
Allow: /
Disallow: /admin
Disallow: /admin/login
Disallow: /admin/dashboard
Disallow: /admin/manage-roles
Disallow: /sitemap-generator

📋 Instructions :

Cliquez sur "Télécharger robots.txt"
Remplacez le fichier public/robots.txt par le nouveau
Committez et pushez sur GitHub
Lovable détectera le changement et redéploiera automatiquement
Testez sur Google Robots Testing Tool

🧠 GEO (Generative Engine Optimization)

Votre site est optimisé pour les moteurs de recherche IA. Les crawlers peuvent indexer votre contenu pour :

ChatGPT, Claude, Gemini (recherche IA)
Perplexity (moteur de recherche conversationnel)
Meta AI, ByteDance (réseaux sociaux)
Crawl-delay de 2 secondes pour protéger les performances

🤖 Crawlers autorisés :

Moteurs de recherche

Google, Bing

IA & LLM (10 crawlers)

ChatGPT, Claude, Perplexity, Gemini, Meta AI...

Réseaux sociaux

Facebook, Twitter, LinkedIn

Messaging

WhatsApp, Slack

🚫 Pages protégées (Disallow) :

/admin - Dashboard admin
/admin/login - Page de connexion
/admin/dashboard - Tableau de bord
/admin/manage-roles - Gestion des rôles
/sitemap-generator - Générateur sitemap

User-agents

Autorisations

Restrictions