Google проигнорировал запись в роботсе

fima32
На сайте с 12.01.2006
Offline
132
575

Ситуация такая: я зарегистрировал домен, поставил на него CMS, написал, что сайт в процессе разработки. Но наполнение заняло очень много времени (тот человек, который рвался его контентом наполнить - забил на это дело из-за занятости, теперь партнерку пытаюсь прикрутить, но в пхп я не ахти) и чтобы его поисковики не забанили и не индексировали всякую дрянь, закрыл в роботсе.

Ну так вот! Яндекс мигом про него забыл, рамблер тоже, а вот гугл(до этого он только морду знал) не точто про него не забыл, но и проиндексировал все страницы партнерки и потихоньку народ водит вот уже третью неделю.

Подскажите, пожалуйста, что я сделал не так. Я в robots.txt написал такие строки:

User-agent: *

Disallow: /

Host: www.*******.org

DimaU
На сайте с 30.08.2005
Offline
180
#1
fima32:
Подскажите, пожалуйста, что я сделал не так. Я в robots.txt написал такие строки:
User-agent: *
Disallow: /
Host: www.*******.org

Директива Host для гугла ошибочна, вполне возможно (надо уточнить) он может отвергать ВСЮ секцию. Поэтому проще в robots.txt сделать две секции:

User-agent: Yandex
Disallow: /
Host: www.*******.org

User-agent: *
Disallow: /
K
На сайте с 31.01.2001
Offline
737
#2

Именнт так, Google пропустил мимо ушей (или чего там) блок с какой-то непонятной инструкцией. Поэтому не "проще" сделать две секции, а надо делать правильно!

Хотя, пока сайт нерабочий, можно просто убрать директиву Host: и оставить всего две строчки, вот это действительно проще.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
fima32
На сайте с 12.01.2006
Offline
132
#3

Спасибо за советы

Каширин
На сайте с 03.01.2004
Offline
1031
#4
DimaU:
вполне возможно (надо уточнить) он может отвергать ВСЮ секцию.

Уточняю - обязательно отвергает всю некорректную, с его точки зрения, секцию.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий