robots.txt — это текстовый файл, который размещается в корне сайта и указывает поисковым роботам, какие страницы можно индексировать, а какие нет. Он не виден обычным пользователям, но крайне важен для SEO и технической настройки сайта.
С помощью robots.txt можно, например, закрыть от индексации админку, корзину, фильтры, страницы с личными данными или тестовые разделы. Это помогает поисковикам не тратить ресурсы на лишнее и лучше понимать структуру сайта. Если файл настроен неправильно — сайт может частично или полностью выпасть из поисковой выдачи.
Он всегда лежит по адресу https://ваш_сайт/robots.txt.
Его можно открыть прямо в браузере.
Если сайт работает на CMS (например, WordPress или Битрикс), файл создаётся автоматически, но его можно редактировать вручную через FTP или файловый менеджер хостинга.
Основные директивы:
User-agent: — указывает, к какому роботу применяются правилаDisallow: — запрещает доступ к указанному разделуAllow: — разрешает доступ (если есть запрет выше)Sitemap: — указывает путь к карте сайтаUser-agent: * Disallow: /admin/ Sitemap: https://site.ru/sitemap.xmlЭто говорит всем роботам не заходить в папку /admin и подсказывает, где лежит карта сайта.
Да, и сильно. Если в файле случайно закрыть важные страницы или разделы (например, /blog/ или /catalog/), они просто не попадут в индекс поисковых систем. Поэтому важно регулярно проверять содержимое файла и не закрывать доступ к тому, что должно продвигаться.
Если ты ведёшь проект и отвечаешь не только за соцсети, но и за сайт — SmmBox поможет автоматизировать контент в социальных сетях, а файл robots.txt сделает своё дело в поиске — вместе это даст максимум охвата.
