{
  "id": "crawl",
  "slug": "pravila-obhoda",
  "term": "Правила обхода для ИИ-краулеров",
  "fullName": "Правила обхода для ИИ-краулеров",
  "category": {
    "id": "vis",
    "name": "Видимость и поиск"
  },
  "definition": "Указания сайта о том, каким ИИ-роботам разрешено его читать и на каких условиях; записываются в robots.txt и смежных файлах.",
  "body": [
    "С появлением ИИ-краулеров владельцы сайтов получили выбор: пускать их или нет. Издатели нередко закрываются, защищая содержимое от использования без ссылки.",
    "Производителю обычно нужно обратное. Закрыв каталог от ИИ-роботов, вы исключаете себя из ответов, то есть решаете задачу, которой у вас нет, и теряете то, ради чего всё затевалось. Проверить эти правила стоит в первую очередь: иногда запрет стоит по недосмотру."
  ],
  "holder": "практика на основе robots.txt",
  "publisherTerm": false,
  "year": "2023",
  "source": "https://www.robotstxt.org/",
  "related": [
    "llmstxt",
    "citability",
    "readiness"
  ],
  "url": "https://a2acommerce.ru/termin/pravila-obhoda/",
  "markdown": "https://a2acommerce.ru/termin/pravila-obhoda/index.md",
  "checked": "2 октября 2026"
}