# robots.txt — easy3D
#
# Les blocs UA-spécifiques sont placés en premier (les crawlers stricts les
# repèrent avant le wildcard). Chaque bot social a sa propre entrée avec
# Disallow vide → forme canonique "tout autorisé", aucun risque d'héritage
# de Disallow du bloc *.

# ── Bots d'aperçu social (link previews quand un article est partagé)
# Doivent pouvoir scraper la page HTML ET fetcher l'image og:image
# (servie depuis /uploads/blog/…).

User-agent: facebookexternalhit
Allow: /
Disallow:

User-agent: facebookexternalhit/1.1
Allow: /
Disallow:

User-agent: Facebot
Allow: /
Disallow:

User-agent: LinkedInBot
Allow: /
Disallow:

User-agent: Twitterbot
Allow: /
Disallow:

User-agent: Slackbot
Allow: /
Disallow:

User-agent: Slackbot-LinkExpanding
Allow: /
Disallow:

User-agent: WhatsApp
Allow: /
Disallow:

User-agent: Discordbot
Allow: /
Disallow:

# ── Bots IA / crawlers agressifs bloqués intégralement
# Identifiés via /cron/access-log-top : ClaudeBot représentait 72% du trafic
# (175k req/24h) en énumérant /catalogue/easy3d avec des combos brands+q
# random pour du scraping massif. Amazonbot, GPTBot, Bytespider, etc. font
# pareil à plus petite échelle. Aucune valeur SEO — que du coût serveur.
# Doublé côté application par BotFilter (403 immédiat) pour ceux qui
# ignorent robots.txt.

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: SERankingBacklinksBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: MegaIndex
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: ImagesiftBot
Disallow: /

User-agent: Timpibot
Disallow: /

User-agent: omgili
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

# ── Bots génériques (Googlebot, Bingbot, etc.)
# Sections privées bloquées, MAIS /uploads/blog/ explicitement ré-autorisé
# (Allow plus spécifique l'emporte sur Disallow chez Google/Bing).

User-agent: *
Allow: /
Allow: /uploads/blog/
Disallow: /admin/
Disallow: /login
Disallow: /compte/
Disallow: /mon-compte
Disallow: /mes-commandes
Disallow: /mes-factures
Disallow: /mes-adresses
Disallow: /mes-informations
Disallow: /panier
Disallow: /upload
Disallow: /uploads/
# Catalogue Thingiverse : bots interdits (consomme l'API tierce rate-limitée).
# Wildcard */thingiverse couvre toutes les locales (/en/catalog/thingiverse,
# /it/catalogo/thingiverse, /de/katalog/thingiverse, etc.) sans avoir à
# lister chaque variante. Doublé par BotFilter (403 pour tout ce qui n'est
# pas un vrai navigateur ou un preview social).
Disallow: /catalogue/thingiverse
Disallow: */thingiverse

# Sitemap dynamique multilingue (généré par SitemapController) — inclut
# pages statiques + articles blog + produits easy3D, avec annotations
# hreflang pour les 7 locales (fr/en/es/it/de/nl/pt). Mis à jour à chaque
# requête, pas de cron à gérer.
Sitemap: https://www.easy3d.io/sitemap.xml