Как не дать поисковикам проиндексировать сайт?
Здравствуйте, сегодня мы расскажем о том, как правильно и быстро закрыть поисковикам доступ к всему сайту или только его части.
Для начала, нужно понять, для чего это делается. На каждом сайте есть системные файлы, которые созданы совсем не для обычных пользователей и видеть им их не нужно. Для этого и нужно скрыть такие папки/файлы.
Работать мы будем с системным файлом «robots.txt», который должен быть расположен в корне сайта. Далее просто открываем в любом текстовом редакторе и начинаем редактировать.
Как не индексировать целый сайт?
User-agent: *
Disallow: /
Как не индексировать отдельную папку?
User-agent: *
Disallow: /folder/
Как не индексировать отдельный файл?
User-agent: *
Disallow: /folder/file.php
Что бы узнать, что вы сделали всё правильно, нужно зайти в Яндекс.Вебмастер и перейти на страницу «Страницы в поиске»..
Как не индексировать картинки?
User-Agent: *
Disallow: *.jpg
Disallow: *.png
Disallow: *.gif
Как не индексировать поддомен?
У каждого поддомена должен быть свой robots.txt, в котором нужно указать полный запрет на индексацию.
Какие бывают поисковики?
- Yandex — основной робот-индексатор Яндекса.
- Googlebot — основной робот-индексатор от Google.
- Slurp — поисковый робот от Yahoo!.
- MSNBot — поисковый робот от MSN (поисковая система Bing от Майкрософт).
- SputnikBot — имя робота российского поисковика Спутник от Ростелекома.
На этом можно и закончить, мы рассмотрели все варианты заблокировать любой объект с помощью robots.txt, так же можно блокировать отдельные страницы с помощью meta тега, но это не удобно, так что не будем это рассматривать в данной статье.
.Так же все статьи выходят у нас в группе ВК: https://vk.com/grandsaitru
А на этом у нас всё, если у вас есть какие-либо вопросы, Вы всегда можете написать их в комментарии или в группу ВК.