Robots.txt — настройка и загрузка на сайт

Здравствуйте, сегодня мы поговорим о загадочном файле robots.txt, который есть на каждом сайте, который использует каждый веб-разработчик и от которого полностью зависит судьба Вашего сайта.
Для начала нужно понять, что это за файл и зачем он нужен.

Robots.txt — обычный текстовый документ, сохранённый в кодировке UTF-8 и лежащий в корне сайта.

На любом сайте есть такие страницы, которые поисковики индексировать не должны. Зачем нужно показывать системные файлы сайта на всеобщее обозрение. Поэтому их принято скрывать, а делается это как раз с помощью робота.

Что бы поисковик нашёл данный файл, его нужно разместить по адресу:

https://example.com/robots.txt

На данном изображении показано, как поисковики будут просматривать и индексировать сайт с использованием робота. Но стоит обратить внимание, даже если какая-то страница будет добавлена в исключение робота, она всё же может появиться в выдаче поиска. Если ссылка на страницу добавлена на внешнем источнике, то, возможно, она будет индексирована.

Обычно, если Вы используете какую-либо CMS, то там есть уже готовый шаблон, который не нужно будет трогать или обновлять, посколько всё настроено автоматически.

Вот как выглядит уже готовый файл robots.txt

User-agent: *
Disallow:
Sitemap: https://grand-sait.ru/sitemap.xml

Всего три строчки, которые могут вывести ваш сайт в топ. Давайте разберём, что обозначает каждая из них.

User-agent: *

Может ограничить какой-либо поисковой системе доступ и индексирование всего сайта.

Disallow:

Тут нужно указать директорию, которую индексировать запрещается.

Sitemap: https://grand-sait.ru/sitemap.xml

Полный путь к карте сайта.

Проще всего, использовать данный сервис для создания робота: ТЫК

Выбираете нужные варианты и в самом конце просто копируете готовый текст. В созданный ранее файл robots.txt вставляем уже готовый текст, а далее просто заливаем на хостинг в корень. В личных кабинетах вебмастера (во всех поисковиках) можно указать ссылку, что бы не ждать автоматической проверки. Так же сразу можно указать и карту сайта.