Google не воспринимает запрет в Robots.txt

Zodios
На сайте с 29.07.2008
Offline
29
707

Здравствуйте. Помогите пожалуйста найти ответ на вопрос. На сайте есть файл robots.txt в котором находиться такой код


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /portfolio/
Disallow: /examples/
Disallow: /backlink/
Disallow: /progs/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /orphus/
Sitemap: http://site.net/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /portfolio/
Disallow: /examples/
Disallow: /backlink/
Disallow: /progs/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /orphus/
Sitemap: http://site.net/sitemap.xml
Host: site.net

Получается, что все содержимое папки examples не должно индексироваться. Но при проверке в гугле чере site:site.net в выдаче перейдя по ссылке "повторить поиск, включив опущенные результаты" есть линк site.net/examples/layouts/index.htm и остальные из этой папки.

При просмотре гугл вебмастер, в разделе "URL, запрещенные файлом robots.txt" есть этот же линк http://site.net/examples/layouts/index.htm

Как такое может быть? Ведь по идее раз в роботс стоит запрет то гугл не должен индексировать эти страницы?

SAlex
На сайте с 27.07.2008
Offline
409
#1

посмотрите в выдаче гугла, если ли кеш страницы. Если нет, то все правильно - гугл знает о существовании этой страницы, но не индексирует.

В выдаче нет содержания и тайтлов этой страницы.

Zodios
На сайте с 29.07.2008
Offline
29
#2

Спасибо, и вправду нету кеша и тайтал.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий