Google не слушается robots.txt

12
Anderew
На сайте с 06.03.2010
Offline
125
1201

Помогите разобраться. В роботсе все очень грамотно и правильно всё настроено. Яндекс слушается, а Гугл игнорирует всё. На сайте всего 250 страниц, остальное мусор (дублирование стр.,версии для печати и т.д.), что в роботсе я запретил индексировать. Гугл же схавал всё, что есть и того 1400 стр. в индексе. Теперь все обстоит так, будто мой сайт находится под санкциями Яндекса или АГС.

Что посоветуете? Мне нужно чтобы и в Гугле были только те стр., которые нужны.

Спорим, мощней и дешевле VPS не знаешь? http://www.ihc.ru/?ref=2920
iren K
На сайте с 28.12.2008
Offline
222
#1
Anderew:
Помогите разобраться. В роботсе все очень грамотно и правильно всё настроено

ясно: щас телепаты подойдут и все растолкуют 😒

c уважением Iren
[Удален]
#2

Anderew, не оно?

sergey885
На сайте с 19.08.2002
Offline
248
#3
Anderew:
Мне нужно чтобы и в Гугле были только те стр., которые нужны.

через вебмастертулс удаляйте нужные.

с не нужных делайте 301-ые на нужные

и навсегда запомните, что, к сожалению, гуглу на роботс пофигу, это ни один раз доказано практикой

интернет-маркетинг. стратегии развития веб-проектов.
zonar
На сайте с 24.05.2009
Offline
165
#4

Я уже давно плюнул на гугл.

Яндекс рулит однозначно.

Городской дневник ( https://youtu.be/k2qZdPXHoYY )
iren K
На сайте с 28.12.2008
Offline
222
#5
sergey885:
гуглу на роботс пофигу, это ни один раз доказано практикой

угу,и теорией тоже,особенно это:

While Google won't crawl or index the content of pages blocked by robots.txt, we may still index the URLs if we find them on other pages on the web.
sigor
На сайте с 02.05.2011
Offline
15
#6
While Google won't crawl or index the content of pages blocked by robots.txt, we may still index the URLs if we find them on other pages on the web.

:)Да уж закрывай, не закрывай, а сопли потекут...

Как радикальный способ (можно отдавать в ХЕДЕРЕ 404 при запросе, ненужных к индексации страниц)...но очень уж геморно...

iren K
На сайте с 28.12.2008
Offline
222
#7
sigor:
но очень уж геморно...

почему - если очень надо,придется 🍿

но насколько поняла - у тс проблема с дублями и т.п. -> здесь проще в .htaccess разрулить нужное правило

sigor
На сайте с 02.05.2011
Offline
15
#8

Нужен пациент...

УС
На сайте с 04.10.2011
Offline
65
#9

Robots не предназначен для удаления страниц из индекса

бамболео бамболео
sergey885
На сайте с 19.08.2002
Offline
248
#10
iren K:
угу,и теорией тоже,особенно это:

черт, где ж вы были раньше =) я бутылку пива проспорил тут недавно доказывая это же...

zonar:
Я уже давно плюнул на гугл.
Яндекс рулит однозначно.

можешь обплеваться до бескрайности, если у тебя проекты под сша/европу на других языках

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий