роботс и пс

El_grapaduro
На сайте с 01.09.2008
Offline
315
#41
богоносец:
Искал корпорация добра

Нашлось habrahabr.ru/search/?q=....

Кэш... по состоянию на 15 май 2012

User-agent: Google
Crawl-delay: 2
Disallow: /search/

У роботса Last-Modified: Tue, 13 Mar 2012
Кэш роботса от 28 апр 2012

User-agent: Google

если проверять через вебмастер гугла, то по такому обращению гугль не понимает запреты, а если написать googlebot, то все ок будет.

Вроде и Host гугл не понимает, а у них прописано.

van4a
На сайте с 12.03.2011
Offline
72
#42

По-моему в некоторых случаях гугл относится к запретам в роботс.тхт как к рекомендации. К примеру, у меня в роботс запись Disallow: */feed, а он проиндексировал все страницы с концовкой /feed, но поместил их в "опущенные результаты" =)

Идеальная работа — та, сделав которую однажды, получаешь доход на всю жизнь ... ©
Itssamna
На сайте с 03.03.2010
Offline
40
#43
van4a:
По-моему в некоторых случаях гугл относится к запретам в роботс.тхт как к рекомендации.

Сайт www.htl.kiev.ua закрыт в роботсе, но находится в топ10 по запросу "Гостиница Киев". Я не знаю зачем они закрыли сайт от индексации, но гугл уверен, что они сделали это зря =)

september
На сайте с 11.09.2009
Offline
591
#44
Itssamna:
Сайт www.htl.kiev.ua закрыт в роботсе, но находится в топ10 по запросу "Гостиница Киев". Я не знаю зачем они закрыли сайт от индексации, но гугл уверен, что они сделали это зря =)

Тестируют новый метод продвижения - закрываешь в роботсе сайт и получаешь топ-10 с небольшим количеством ссылок. 😂

$ карта для вывода вебмани в любой точке мира (https://www.epayments.com/registration?p=dc2462e885)
E
На сайте с 21.09.2009
Offline
283
#45
Itssamna:
Сайт www.htl.kiev.ua закрыт в роботсе, но находится в топ10 по запросу "Гостиница Киев". Я не знаю зачем они закрыли сайт от индексации, но гугл уверен, что они сделали это зря =)

Если сайт сначала проиндексировался а потом они его закрыли ничего удивительного нет.

iren K
На сайте с 28.12.2008
Offline
222
#46
van4a:
По-моему в некоторых случаях гугл относится к запретам в роботс.тхт как к рекомендации.
Если вы хотите, чтобы страницы вашего сайта были доступны для сканирования всем роботам Google, то файл robots.txt вообще не требуется

ну здесь 😒

c уважением Iren

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий