seo

Robots.txt

💡 Правила для роботов.

Определение

Файл с инструкциями для поисковых роботов: что можно индексировать, а что нет.

Пример

Disallow: /admin — запретить индексацию админки.

Как говорят вайбкодеры

««Проверь robots.txt — а то всё закрыто»»