Как не дать поисковикам проиндексировать сайт?

Здравствуйте, сегодня мы расскажем о том, как правильно и быстро закрыть поисковикам доступ к всему сайту или только его части.

Для начала, нужно понять, для чего это делается. На каждом сайте есть системные файлы, которые созданы совсем не для обычных пользователей и видеть им их не нужно. Для этого и нужно скрыть такие папки/файлы.

Работать мы будем с системным файлом «robots.txt», который должен быть расположен в корне сайта. Далее просто открываем в любом текстовом редакторе и начинаем редактировать.

Как не индексировать целый сайт?

User-agent: *
Disallow: /

Как не индексировать отдельную папку?

User-agent: *
Disallow: /folder/

Как не индексировать отдельный файл?

User-agent: *
Disallow: /folder/file.php

Что бы узнать, что вы сделали всё правильно, нужно зайти в Яндекс.Вебмастер и перейти на страницу «Страницы в поиске»..

Как не индексировать картинки?

User-Agent: *
Disallow: *.jpg
Disallow: *.png
Disallow: *.gif

Как не индексировать поддомен?

У каждого поддомена должен быть свой robots.txt, в котором нужно указать полный запрет на индексацию.

Какие бывают поисковики?

• Yandex — основной робот-индексатор Яндекса.
• Googlebot — основной робот-индексатор от Google.
• Slurp — поисковый робот от Yahoo!.
• MSNBot — поисковый робот от MSN (поисковая система Bing от Майкрософт).
• SputnikBot — имя робота российского поисковика Спутник от Ростелекома.

На этом можно и закончить, мы рассмотрели все варианты заблокировать любой объект с помощью robots.txt, так же можно блокировать отдельные страницы с помощью meta тега, но это не удобно, так что не будем это рассматривать в данной статье.

.Так же все статьи выходят у нас в группе ВК: https://vk.com/grandsaitru

А на этом у нас всё, если у вас есть какие-либо вопросы, Вы всегда можете написать их в комментарии или в группу ВК.