~/guides/llms-txt-standard-guide

AI Agents

llms.txt: разбор синтаксиса нового стандарта и практика внедрения на сайте

Что такое llms.txt, чем он структурно отличается от robots.txt и sitemap.xml, и как его правильно написать для собственного сайта.

Robots.txt десятилетиями объяснял поисковым роботам, что можно индексировать. llms.txt — попытка сообщества сделать похожую вещь для AI-ассистентов и агентов, только вместо разрешений на обход это структурированный markdown-файл с кратким описанием проекта и приоритизированным списком самой важной документации.

Базовая структура файла

# stdout

> Браузерные утилиты для разработчиков: JSON, YAML, TOML, .env.

## Docs
- [Инструменты](/tools/): полный каталог утилит
- [Гайды](/guides/): практические статьи с примерами кода

## Optional
- [О проекте](/about/): история и мотивация

Заголовок h1 с названием проекта в самом начале, короткое summary-описание строкой с символом больше сразу после заголовка, и разделы h2 со списками markdown-ссылок — это весь обязательный синтаксис.

Чем это принципиально отличается от sitemap.xml

Критерий sitemap.xml llms.txt
Формат Машиночитаемый XML Человекочитаемый markdown
Охват Максимально полный, все страницы Осознанно отобранное, приоритизированное
Назначение Индексация поисковиками Быстрое понимание проекта AI-инструментом
Наличие описаний Нет Желательно у каждой ссылки

Ключевое отличие не в формате файла, а в философии: sitemap стремится к исчерпывающей полноте, а llms.txt — к сжатому, курируемому дайджесту самого важного, без которого AI-инструменту придётся перемалывать всю HTML-структуру сайта, чтобы понять, с чем он имеет дело.

Частая ошибка — превращение в sitemap

Соблазн просто выгрузить полный список страниц сайта в llms.txt понятен, но противоречит самой идее формата. Список из трёхсот равнозначных ссылок без единого пояснения теряет практическую пользу — задача файла в том, чтобы за пару секунд чтения было понятно, что это за проект и куда идти за самым важным, а не в том, чтобы задублировать sitemap в другом синтаксисе.

Где физически размещать файл

По аналогии с robots.txt — строго в корне сайта, по адресу вида https://example.com/llms.txt. Без этого стандартного расположения AI-инструменты, ищущие файл по конвенции, просто его не найдут.

Формат добровольный, но растущий

llms.txt — не протокол с формальным принуждением, ни один AI-краулер не обязан его учитывать. Но растущее число инструментов на середину 2026 года действительно проверяет его наличие как сигнал приоритетного контента, и крупные генераторы сайтов и SEO-инструменты пока попросту не успели встроить его валидацию — формат слишком новый.

Написать корректный llms.txt с нуля или проверить существующий на структурные проблемы удобнее через llms.txt Validator & Generator — он же поможет не превратить файл в неструктурированный список ссылок без пояснений.

Итоговый чеклист

llms.txt — человекочитаемый markdown с заголовком, кратким summary и приоритизированными разделами ссылок, а не машиночитаемый XML-список всех страниц.

Ссылка без пояснения формально валидна по markdown-синтаксису, но снижает практическую пользу файла именно для AI-контекста.

Файл размещается строго в корне сайта по конвенции, аналогичной robots.txt, без этого AI-инструменты его не найдут автоматически.