Гугл игнорирует роботс.тхт

12
[Удален]
1473

В роботсе сайта указано, что определенные директории индексировать не нужно, а он все равно их индексирует. Что делать?

P
На сайте с 06.04.2010
Offline
17
#1

тоже наблюдаю подобное, вылезли страницы, закрытые в роботсе...

K
На сайте с 31.01.2001
Offline
737
#2
pomidorych:
вылезли страницы, закрытые в роботсе

В сниппете видно что-нибудь из содержания страницы? Есть сохраненная копия?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
besik1976
На сайте с 07.07.2010
Offline
163
#3

Да уже с пол года Гугл игнорирует роботс, закрыл один раз по неопытности сайт от индексации, яша сразу из индекса выкинул а гугль так и продолжал индексировать....

A
На сайте с 04.12.2009
Offline
161
#4

Страницы индексируются, но не участвуют в поиске.

kievrent
На сайте с 27.12.2009
Offline
206
#5
Alех:
Страницы индексируются, но не участвуют в поиске.

аха, а потом песок... Уже проходил такое :( Сделал сайт на движке старого сайта, закрыл роботсом и писать...

Такое впечатление, что Гугл прям ожидает, что если есть домен - знач контент можно индексировать, игнорируя роботс. Согласитесь, что странно, когда даже по уник тексту Гугл тебя отображает не на первых местах. Точно такой же, сайт, но залитый сразу на фтп (а не переделанный с надеждой на то, что роботс спасет) "влетел" в индекс и без единой внешней по куче НЧ запросов попал в ТОП-5...

B
На сайте с 07.02.2005
Offline
161
#6

Leo Craft, robots в студию.

FX
На сайте с 15.01.2010
Offline
114
#7

у меня не игнорирует, забыл поставить запрет в роботс, гугл сожрал 800 страниц, увидел, поставил запрет, через неделю осталось 30

LovelAss
На сайте с 05.06.2009
Offline
96
#8

Гугл mu_duck насчёт этой фишки, весь мусор в индексе хранит. Есть ссылки на этот раздел, нету ссылок, закрыт раздел в роботсе или мета-тегами - гуглу плевать. Дубли страниц, страницы с ошибками - всё гребёт в кучу. За что люблю Яшу, так это за его чистоту, в том плане, что весь хлам выкидывает махом. А гугел насобирает гавнеца, а потом, как сказал чел чуть выше, нормальные страницы в песочницу кидает.

sirota77
На сайте с 08.09.2008
Offline
161
#9

Проиндексирована груда страниц запрещённых в роботсе и имеющих в коде <meta name="robots" content="noindex,nofollow" /> (не уник)

Посетителей с гугла почти нет :(

K
На сайте с 31.01.2001
Offline
737
#10

Повторю свой вопрос:

Kost:
В сниппете видно что-нибудь из содержания страницы? Есть сохраненная копия?
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий