# Atlas Estate — robots.txt
#
# Le scelte qui sotto sono documentate in docs/DECISIONS.md D-08.
# "Crawler AI" non e una categoria sola: sono due famiglie con scopi diversi,
# e vanno trattate come tali.
#
#   RICERCA E CITAZIONE  alimentano l indice con cui un assistente risponde
#                        e cita la fonte. Bloccarli significa sparire da
#                        quelle risposte.
#   ADDESTRAMENTO        riguardano l uso dei contenuti per addestrare i
#                        modelli. Non hanno effetto sui risultati di ricerca.
#
# Ogni bot e nominato di proposito, anche dove il blocco generico basterebbe:
# un elenco esplicito dice che e una scelta, non una dimenticanza.
#
# ATTENZIONE: un blocco a livello di CDN, firewall o bot protection e
# invisibile in questo file e fa lo stesso danno. Va verificato a parte.

# ---------------------------------------------------------------------------
# Ricerca e citazione — consentiti
# ---------------------------------------------------------------------------

# ChatGPT Search. E QUESTO che decide se Atlas puo comparire ed essere citata
# in ChatGPT. Non e GPTBot: quello riguarda l addestramento.
User-agent: OAI-SearchBot
Allow: /

# Recupero su richiesta esplicita di una persona (qualcuno incolla un link)
User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Applebot
Allow: /

# ---------------------------------------------------------------------------
# Addestramento — consentiti, ma e una decisione SEPARATA e reversibile.
# Revocarla non toglie nulla alla visibilita nei motori e negli assistenti:
# basta cambiare Allow in Disallow qui sotto.
# ---------------------------------------------------------------------------

User-agent: GPTBot
Allow: /

# Non influenza in alcun modo l indicizzazione ne il ranking nella Ricerca
# Google: quelli dipendono da Googlebot.
User-agent: Google-Extended
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: CCBot
Allow: /

# ---------------------------------------------------------------------------
# Tutto il resto
# ---------------------------------------------------------------------------

User-agent: *
Allow: /
Disallow: /grazie/

Sitemap: https://atlasestate.it/sitemap.xml