# Общие правила для всех поисковых роботов
User-agent: *
Allow: /
Allow: /classic-check-rules.html
Allow: /gost-2-105-2019-rules.html
Allow: /gost-7-32-2017-rules.html
Allow: /gosty-ai-2.html
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /admin/
Disallow: /api/
Disallow: /logs/
Disallow: /.git/
Disallow: /.env
Disallow: /config/

# Правила для Яндекса
User-agent: Yandex
Allow: /
Host: нормконтроль.рф

# Правила для Google
User-agent: Googlebot
Allow: /

# Правила для Bing
User-agent: Bingbot
Allow: /

# Crawl-delay для предотвращения перегрузки сервера
Crawl-delay: 1

# Sitemap (обновлено 09.04.2026)
Sitemap: https://нормконтроль.рф/sitemap.xml