Яндекс индексирует все, что запрещено в robots.txt

123 4
D
На сайте с 25.07.2008
Offline
145
#11
vandamme:
и частенько он игнорирует роботс, это верно

Вот я и смотрю ( Плохо что он тех. страницы индексит, ибо там юзеры. А это не есть хорошо, когда такие данные в сеть попадают

Таггу x_x
На сайте с 31.10.2005
Offline
425
#12

Самый верный способ вынести страницу из из выдачи это в мете noindex прописать - это наглушняк, что для Гоги, что для Яндекса.

<META name="ROBOTS" content="noindex">

☠️☠️☠️
[Удален]
#13
droid:
Вот я и смотрю ( Плохо что он тех. страницы индексит, ибо там юзеры. А это не есть хорошо, когда такие данные в сеть попадают

Так обрубите ссылки на них.. выкинет с большей вероятностью.

Обрубить можно банально ява скриптом.

vandamme
На сайте с 30.11.2008
Offline
675
#14

банальней подредактировать htaccess

[Удален]
#15
vandamme:
банальней подредактировать htaccess

А вот с этим уже аккуратно нужно, можно и грань переступить..

S
На сайте с 28.10.2005
Offline
311
#16

А это чево такое:

Disallow: /index.php?do=feedback /

Disallow:index.php?do=register

Сайт покажите

[Удален]
#17
semenov:
А это чево такое:

Disallow: /index.php?do=feedback /
Disallow:index.php?do=register

Сайт покажите

Написано вроде :) Форма обратной связи и регистрация :)

Индексится 100% из-за того, что со всех страниц есть ссылка..

Убрать их и будет счастье.

Vincent_
На сайте с 24.12.2008
Offline
136
#18
Tarry:
Самый верный способ вынести страницу из из выдачи это в мете noindex прописать - это наглушняк, что для Гоги, что для Яндекса.
<META name="ROBOTS" content="noindex">

Вы заблуждаетесь. Для Гоши - да, но вот Яндексу это до одного места. У меня все страницы на блоге с метками попали в индекс, при том что было прописано в meta noindex (и в кеше тоже с noindex). Писал в поддержку, сказали будут разбираться.

vandamme:
банальней подредактировать htaccess

Вот это точно наглушняк :)

S7
На сайте с 06.01.2011
Offline
76
#19

у меня индекс выстроился в соответствии с роботс где-то за 2 недели. два месяца это что то не ладно ИМХО

[Удален]
#20
smirnoff702:
у меня индекс выстроился в соответствии с роботс где-то за 2 недели. два месяца это что то не ладно ИМХО

Служебные страницы бодро выпадают, страницы которые давно попали в индекс с трудом и за пару месяцев.

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий