# natalai.io — правила для поисковых роботов и AI-агентов Sitemap: https://natalai.io/sitemap.xml # ============================================================ # ВСЕ РОБОТЫ (поисковики + краулеры) # ============================================================ User-agent: * Allow: /cabinet/share/avatar/ Disallow: /admin/ Disallow: /cabinet/ Disallow: /accounts/ Disallow: /payments/ Disallow: /i18n/ Disallow: /media/ # API endpoints — только для программного доступа Disallow: /api/public/ Disallow: /*/search/? # ============================================================ # AI / LLM агенты (ChatGPT, Claude, Perplexity, Google AI, Cohere) # ============================================================ User-agent: ChatGPT-User User-agent: GPTBot User-agent: ClaudeBot User-agent: Claude-Web User-agent: PerplexityBot User-agent: Google-Extended User-agent: CohereBot User-agent: cohere-ai User-agent: Meta-ExternalAgent User-agent: Amazonbot User-agent: Applebot User-agent: Ollama User-agent: phindbot # Crawl-delay убран: Google его игнорирует, а Bing и часть AI-ботов при 10 секундах # обходят 1 172 URL дольше трёх часов. Ограничение краулинга — через Disallow, не паузу. Allow: / Disallow: /admin/ Disallow: /cabinet/ Disallow: /accounts/ Disallow: /payments/ Disallow: /i18n/ Disallow: /media/ # ============================================================ # Социальные боты (превью ссылок, OG-теги, карточки) # ============================================================ User-agent: Twitterbot User-agent: facebookexternalhit User-agent: TelegramBot User-agent: Discordbot User-agent: LinkedInBot User-agent: WhatsApp User-agent: Slackbot-LinkExpanding User-agent: Slackbot User-agent: vkShare User-agent: redditbot User-agent: Pinterestbot User-agent: Snapchatbot Allow: /cabinet/share/avatar/ Allow: /media/natal_avatars/ Disallow: /admin/ Disallow: /cabinet/ Disallow: /accounts/ Disallow: /payments/ Disallow: /i18n/ Disallow: /media/ # ============================================================ # SEO-инструменты (Semrush, Ahrefs — нужны для аудита и бэклинков) # ============================================================ User-agent: SemrushBot User-agent: AhrefsBot User-agent: AhrefsSiteAudit User-agent: Screaming Frog SEO Spider User-agent: SiteAuditBot User-agent: MJ12bot User-agent: DotBot Allow: / Disallow: /admin/ Disallow: /cabinet/ Disallow: /accounts/ Disallow: /payments/ Disallow: /i18n/ Disallow: /media/ # ============================================================ # Китайский поисковик (Baidu) — заблокирован сознательно, т.к. # рынок не таргетируется и трафик бота высок. # ============================================================ User-agent: Baiduspider Disallow: / # ============================================================ # Яндекс: URL с tracking/query не дублировать в индексе (Clean-param) # ============================================================ User-agent: Yandex Clean-param: ysclid&utm_source&utm_medium&utm_campaign&utm_content&utm_term&kind&page&lang /