# Content signal for AI crawlers (non-standard, ignored by classic bots)
Content-Signal: search=yes, ai-input=yes, ai-train=no

User-agent: *
Allow: /
# next/image optimizer URLs carry ?url=&w=&q= — must stay crawlable for
# Google Images despite the blanket query-string disallow below (longest
# match wins, so this Allow beats Disallow: /*?*).
Allow: /_next/image
Disallow: /api/
Disallow: /api/v1/trap/
Disallow: /__bot-trap/
# Query-строки закрыты намеренно: они дают комбинаторику сортировок и
# фильтров при одном и том же наборе карточек. Пагинацию это НЕ ограничивает —
# она живёт путём (/{lang}/{type}/{category}/page/{n}) именно потому, что
# раньше была на ?page= и попадала под этот запрет: обход от главной доставал
# 4 606 карточек из ~198 000, остальные не имели ни одной внутренней ссылки.
# Не «чинить» это правило, открыв /*?* — сломается ровно то, что оно защищает.
Disallow: /*?*
Disallow: /*/admin
Disallow: /*/admin/
Disallow: /*/auth
Disallow: /*/auth/
Disallow: /*/search
Disallow: /*/search/
Disallow: /*/verify/
Disallow: /*/add
# Internal rewrite target for ?page/?sort category listings (middleware.ts).
# Visitors only ever see the clean /{lang}/{type}/{category} URL.
Disallow: /*/listing/

# SEO scanners: same rules as *, plus a crawl delay (rate-limit tier 3).
# The rules are repeated on purpose: a bot reads only its most specific group.
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: MJ12bot
User-agent: DotBot
User-agent: DataForSeoBot
User-agent: BLEXBot
User-agent: SeznamBot
User-agent: Barkrowler
User-agent: serpstatbot
User-agent: SERankingBacklinksBot
User-agent: AionBot
Crawl-delay: 10
Allow: /
Allow: /_next/image
Disallow: /api/
Disallow: /api/v1/trap/
Disallow: /__bot-trap/
Disallow: /*?*
Disallow: /*/admin
Disallow: /*/admin/
Disallow: /*/auth
Disallow: /*/auth/
Disallow: /*/search
Disallow: /*/search/
Disallow: /*/verify/
Disallow: /*/add
Disallow: /*/listing/

# Bulk AI training / scraper crawlers — no citation value, heavy load
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Reflectionbot
Disallow: /

Sitemap: https://tgboard.com/sitemap.xml