Задолбался удалять из индекса гугла закрытые в robots страницы

http://www.google.com/search?q=inurl:robots.txt

http://www.google.com/search?q=inurl:sitemap.xml

По какому принципу эти ИО тайтлов?

Каким же это образом, что в индекс-то попадает?

Как-то попадает.

Делаем выдуманный запрос site:404.yandex.ru

http://404.yandex.ru/1



GET /1 HTTP/1.1

Host: 404.yandex.ru

User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3

Accept-Encoding: gzip, deflate

Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7

Keep-Alive: 115

Connection: keep-alive

DNT: 1



HTTP/1.1 404 Not Found

Date: Sat, 06 Aug 2011 09:01:11 GMT

Server: Apache/1.3.41 (Unix) mod_perl/1.30 PHP/4.4.9

Connection: close

Transfer-Encoding: chunked

Content-Type: text/html; charset=windows-1251

Но почему-то Народовой страницы 404 в индексе Гугля нету!

У меня точно такой же ахтунг случился.

Сайту пол года, нормально индексировался, все лишнее было закрыто в robots.txt.

А сегодня я обнаружил, что страниц в индексе стало в 2 раза больше благодаря URL-ам вида http://site.ru/articles/blablabla/feed.

В гугл вебмастере показывается что ссылки запрещены к индексации.

Мистика короче.

О, у меня такая же фигня, на сайте про автомобили. В robots.txt все нормально, проверил в "вебмастере" и яндекса, и гугла. Попробую еще тегами в шаблоне закрыть.

В общем придерживаюсь того же мнения.

Тем более, цикл в 90 дней - это очень похоже.

Тайтлы порадовали!!!

Цитируйте полностью

То есть в индексе будет храниться информация о странице, доступная на внешнем сайте. А не содержимое страницы, закрытое robots.txt. По крайней мере, так утверждают в Гугл. Может практика и расходится с этими утверждениями, но в Гугл не заявляют "нам пофиг на robots".

Верно, кэш страницы не отдаётся..

В результатах поиска - только ссылка на закрытую в роботс страницу.

Закрывать в роботс "частично" содержимое страницы? Как?

Или пусть сам определяет, что "частично" индексить, а что целиком?

"Можем" и "возможно" - как-то не утвердительно..

robots работает на уровне URL, то есть целых страниц. Ни о каких правилах частичной индексации с помощью robots.txt речи идти не может.

Также как нельзя с помощью robots.txt запретить собирать данные о странице, опубликованные на других сайтах (URL и анкор, как в рекомендация Гугл).

Вот только правила пишутся не утвердительно и двузначно.

..."Можем" и "возможно, и другая общедоступная информация"...

Вместо сторонних ссылок гугл может использовать бар и т.п.

Индексируется не доступный для робота материал, а просто общедоступный.

Спасибо, разобрался уже.