seo
Robots.txt
Суть в одном предложении:
Правила для роботов.
Развернутое определение
Файл с инструкциями для поисковых роботов: что можно индексировать, а что нет.
Пример из практики
Disallow: /admin — запретить индексацию админки.
Как говорят в чатах вайбкодеров
«Проверь robots.txt — а то всё закрыто»