Термин · SEO-специалист
Robots.txt
Файл с правилами сканирования для поисковых роботов.
Что означает
Robots.txt управляет обходом, но не является надежным способом удалить страницу из индекса. Ошибки в правилах могут закрыть важные разделы.
Пример применения
Disallow: /search/ закрывает внутренний поиск от сканирования.
Синонимы и варианты
Частые вопросы
Что такое Robots.txt?
Файл с правилами сканирования для поисковых роботов.
Где применяется Robots.txt?
Robots.txt управляет обходом, но не является надежным способом удалить страницу из индекса. Ошибки в правилах могут закрыть важные разделы.
Как выглядит пример Robots.txt?
Disallow: /search/ закрывает внутренний поиск от сканирования.
Связанные термины
Где встречается
В проверке доступности страницы поисковому роботу и согласованности статуса, запретов, canonical, внутренних ссылок и sitemap.
Ошибки понимания
robots.txt управляет обходом. Закрытый от обхода адрес не обязательно исчезнет из индекса, а робот может не увидеть размещенный на нем noindex.
Редакция Ariol · Версия 2 · Обновлено
Независимая экспертная проверка не заявлена.
Что обновлено
- — Обновлено: Где встречается, Ошибки понимания.
Материал предназначен для обучения. Адаптируйте рекомендации к внутренним регламентам компании и условиям проекта.
Предложить исправление через контакты Ariol