Основные директивы
- User-agent: для какого робота правило, * значит для всех.
- Disallow: что не обходить.
- Allow: что можно, если внутри закрытого раздела.
- Sitemap: где лежит карта сайта.
Что обычно закрывают
- Служебные разделы: корзина, личный кабинет, поиск по сайту.
- Адреса с параметрами сортировки и фильтров, если они создают дубли.
- Технические папки.
Роботы нейросетей
В robots.txt можно разрешить или запретить обход роботам нейросетей, например GPTBot. Если вы хотите, чтобы нейросети знали о компании, закрывать их не стоит.
Частые ошибки
- Случайно закрыт весь сайт строкой Disallow: /.
- Закрыты файлы стилей и скриптов: поиск не видит, как выглядит страница.
- Попытка убрать страницу из индекса через robots.txt: для этого нужен noindex.
По теме
Разберём вашу ситуацию и скажем, что даст результат быстрее всего. Без обязательств.
