IA RANK GEOListe complète des bots IA en 2026 (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, MistralAI-User, Applebot-Extended), leurs différences techniques et la configuration robots.txt optimale.
Les 6 bots IA officiels en 2026
Tableau récapitulatif des bots les plus utilisés et leur User-Agent exact :
| Bot | Société | User-Agent | Rôle |
|---|---|---|---|
| GPTBot | OpenAI | GPTBot | Crawl pour ChatGPT search + entraînement |
| ClaudeBot | Anthropic | ClaudeBot | Crawl pour Claude search + entraînement |
| PerplexityBot | Perplexity | PerplexityBot | Crawl pour Perplexity (sources citées) |
| Google-Extended | Google-Extended | Crawl entraînement Gemini (séparé de Googlebot) | |
| MistralAI-User | Mistral SAS | MistralAI-User | Crawl pour Le Chat (Mistral) |
| Applebot-Extended | Apple | Applebot-Extended | Crawl entraînement Apple Intelligence |
| OAI-SearchBot | OpenAI | OAI-SearchBot | Sous-bot OpenAI dédié à ChatGPT search |
Configuration robots.txt recommandée
Voici la configuration optimale pour 2026 · autoriser tous les bots IA crédibles :
# robots.txt · configuration AI-friendly User-Agent: * Allow: / User-Agent: GPTBot Allow: / User-Agent: OAI-SearchBot Allow: / User-Agent: ClaudeBot Allow: / User-Agent: PerplexityBot Allow: / User-Agent: Google-Extended Allow: / User-Agent: MistralAI-User Allow: / User-Agent: Applebot-Extended Allow: / Sitemap: https://votresite.fr/sitemap.xml
Faut-il bloquer certains bots ?
Cas par cas. Si votre stratégie est d'apparaître dans les IA → autorisez tout. Si vous êtes un éditeur premium qui veut monétiser ses contenus → vous pouvez bloquer GPTBot et garder Googlebot autorisé (vous restez dans Google search mais pas dans ChatGPT). Voir notre guide complet sur le blocage des bots IA.
Recommandation par défaut · tout autoriser. Bloquer les bots IA en 2026, c'est se tirer une balle dans le pied · 40 % du trafic recherche y passe.
Vérification · les bots crawlent-ils vraiment ?
Pour vérifier si les bots IA visitent votre site, filtrez vos logs serveur (Scalingo, Apache, NGINX) sur les User-Agents :
- Plesk / cPanel · onglet Logs → filtrer par User-Agent
- Scalingo ·
scalingo --app monapp logs --filter "GPTBot|ClaudeBot|PerplexityBot" - WordPress · plugin IA RANK GEO Pro affiche un graphique des crawls IA dans le dashboard
- Cloudflare · Analytics → User-Agents · vue native des bots IA
Questions fréquentes
Peut-on autoriser GPTBot mais bloquer Google-Extended ?+
Oui · ils sont indépendants. Vous gardez le SEO Google (Googlebot) + ChatGPT (GPTBot) tout en bloquant l'entraînement Gemini si vous le souhaitez. Mais ça vous exclut des AI Overviews.
Quelle différence entre GPTBot et OAI-SearchBot ?+
GPTBot = crawl global OpenAI (entraînement + search). OAI-SearchBot = sous-bot dédié uniquement à ChatGPT search (les requêtes 'live' où ChatGPT cherche le web pendant la conversation). En 2026, autorisez les deux.
Comment faire si robots.txt n'est pas modifiable ?+
Sur WordPress, tous les plugins SEO majeurs (Yoast, RankMath, IA RANK GEO) génèrent un robots.txt virtuel. Vous configurez via leur UI plutôt que par FTP.
Les bots IA respectent-ils robots.txt ?+
Officiellement oui · les 6 bots majeurs (OpenAI, Anthropic, Google, Perplexity, Mistral, Apple) déclarent respecter robots.txt. En pratique, des audits de logs confirment qu'ils respectent les directives. Mais d'autres bots non-officiels peuvent ignorer · d'où l'intérêt d'un firewall (Cloudflare ou plugin IA RANK GEO Pro).
Faut-il bloquer les bots inconnus pour économiser la bande passante ?+
Pas en 2026 · les volumes sont faibles (~1-3 % du trafic typiquement). En revanche, mettre un rate-limit (10 req/min par bot) via Cloudflare est sain.