Термин · SEO-специалист
Robots.txt
Файл с правилами сканирования для поисковых роботов.
Что означает
Robots.txt управляет обходом, но не является надежным способом удалить страницу из индекса. Ошибки в правилах могут закрыть важные разделы.
Пример применения
Disallow: /search/ закрывает внутренний поиск от сканирования.
Синонимы и варианты
robots.txtrobots
Частые вопросы
Что такое Robots.txt?
Файл с правилами сканирования для поисковых роботов.
Где применяется Robots.txt?
Robots.txt управляет обходом, но не является надежным способом удалить страницу из индекса. Ошибки в правилах могут закрыть важные разделы.
Как выглядит пример Robots.txt?
Disallow: /search/ закрывает внутренний поиск от сканирования.