Термин · SEO-специалист

Robots.txt

Файл с правилами сканирования для поисковых роботов.

Что означает

Robots.txt управляет обходом, но не является надежным способом удалить страницу из индекса. Ошибки в правилах могут закрыть важные разделы.

Disallow: /search/ закрывает внутренний поиск от сканирования.

robots.txtrobots