# ============================================================
#  Что можно роботам.
#
#  ВАЖНО про устройство файла: робот подчиняется ровно ОДНОЙ группе —
#  самой точной, где названо его имя. Правила из «User-agent: *» на него
#  при этом НЕ распространяются. Поэтому запреты приходится повторять в
#  каждой группе: иначе, назвав робота по имени, мы бы этим самым открыли
#  ему панель и внутренний API.
# ============================================================

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /cabinet

# Для Яндекса: не считать ссылки с utm-метками отдельными страницами
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&fbclid&gclid&yclid

# ------------------------------------------------------------
#  Поиск — открыт, обучение — закрыто.
#
#  Права на сайт, запрет парсинга и использования материалов для
#  обучения ИИ — https://biliardo.kz/legal. Ниже — машиночитаемая часть
#  той же оговорки (ст. 4(3) Директивы ЕС 2019/790, ст. 53 Регламента ЕС
#  об ИИ; плюс заголовок TDM-Reservation и /.well-known/tdmrep.json).
#
#  Поисковики и ИИ-поиск пускаем: по ним клубы находят программу, и
#  пересказывать публичные сведения о ней со ссылкой на сайт разрешено.
#  Роботам, которые собирают тексты для ОБУЧЕНИЯ моделей, закрыто всё.
#  Google-Extended и Applebot-Extended на поиск Google и Apple не влияют —
#  они отвечают только за обучение.
# ------------------------------------------------------------

# поиск Google
User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /cabinet

# поиск Яндекса
User-agent: YandexBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /cabinet

# поиск Bing
User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /cabinet

# поиск ChatGPT
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /cabinet

# переход по ссылке из ChatGPT
User-agent: ChatGPT-User
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /cabinet

# поиск Claude
User-agent: Claude-SearchBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /cabinet

# переход по ссылке из Claude
User-agent: Claude-User
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /cabinet

# индекс Perplexity
User-agent: PerplexityBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /cabinet

# переход по ссылке из Perplexity
User-agent: Perplexity-User
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /cabinet

# поиск Apple и Siri
User-agent: Applebot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /cabinet

# ---- обучение моделей ИИ: запрещено ----

# обучение Gemini
User-agent: Google-Extended
Disallow: /

# обучение OpenAI
User-agent: GPTBot
Disallow: /

# обучение Anthropic
User-agent: ClaudeBot
Disallow: /

# прежнее имя робота Anthropic
User-agent: anthropic-ai
Disallow: /

# обучение Apple Intelligence
User-agent: Applebot-Extended
Disallow: /

# Amazon (Alexa и обучение моделей)
User-agent: Amazonbot
Disallow: /

# обучение моделей Meta
User-agent: meta-externalagent
Disallow: /

# Common Crawl — открытый набор для обучения моделей
User-agent: CCBot
Disallow: /

# ByteDance
User-agent: Bytespider
Disallow: /

# Cohere
User-agent: cohere-ai
Disallow: /

# Cohere
User-agent: cohere-training-data-crawler
Disallow: /

# Diffbot
User-agent: Diffbot
Disallow: /

# Webz.io
User-agent: Omgilibot
Disallow: /

# ImageSift
User-agent: ImagesiftBot
Disallow: /

# Huawei PanGu
User-agent: PanguBot
Disallow: /

# Allen Institute
User-agent: AI2Bot
Disallow: /

# Timpi
User-agent: Timpibot
Disallow: /

# Карта постоянных страниц собирается программой, но адрес остался
# прежним: он записан в панелях вебмастера обоих поисковиков. В ней
# главная на трёх языках, статьи и городские страницы.
Sitemap: https://biliardo.kz/sitemap.xml
Sitemap: https://biliardo.kz/sitemap-turniry.xml