Как отдать только Яндексу 404

123
S
На сайте с 03.06.2005
Offline
133
#11

Без пробела конечно же должно быть. обязательно проверьте после всего, как ведет себя сайт. например, можете указать там не yandex изначально а mozilla - эта строчка содержится в агенте вашего браузера. отсутствие ^ говорит "искать в любом месте строки", а наличие - только строчки, начинающиеся с этих букв. В вашем случае самым безопасным будет без ^ - забанится вообще все, что содержит указанного агента. Правильно в теории будет 404. [f] - это 401 forbbiden. На практике и так и так поисковик не получит то, что ожидает


RewriteEngine on
RewriteCond %{USER_AGENT} Yandex
RewriteRule .* - [R=404]

Вот такое вполне подойдет.

RedHat
На сайте с 15.02.2004
Offline
125
#12
Reise:
Сайт попал под фильтр ты последний (уже давно), контент полностью уникальный, самописный. В индексе Яндекса было где-то 3 тысячи страниц, но посетителей 0 и сайт не искался даже по урл. Было принято решение закрыть от индексации, закрылось через robots.txt + удаление через удалялку. Через какой-то время сайт выпал полностью, кроем морды, которая висит и дальше (уже очень долго – где-то 2-3 месяца) без тайтла (типа http://site.ru/) с невозможностью просмотреть сохраненную копию.

Не знаю, как удалить сайт из Яндекса. Подскажите, можно ли как-то отдавать только роботам яндекса 404. Возможно, есть какие-то другие способы выкинуть сайт из индекса Яндекса.

Только не отправляйте в поиск, искал, ничего не нашел…

Заранее благодарен.

У меня сайт так весел 1,5 года. Скажу честно для бирж этот вполне нормальный сайт, так как не где яша не говорит, что писсимизировал или забанил. Тиц считается, если обидно, что люди не ходят так если на сайте нужная инфа будут ходить через другие пс, а яша сам себя ….

«Россия: назад в будущее»
Ruganin
На сайте с 30.07.2007
Offline
60
#13
Sebo:
Только помните, что это все называется КЛОАКИНГ!

Энто почему, клоакинг это подмена контента для робота, здесь же идет запрет для робота, т.ч. никакого клоакинга.

R
На сайте с 22.06.2007
Offline
174
#14
RewriteEngine on
RewriteCond %{USER_AGENT} Yandex
RewriteRule .* - [R=404]

такой вариант не подходит. Сервер отдает 500 и браузер тоже не может зайти.

A5
На сайте с 06.08.2006
Offline
46
#15


RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} .*Yandex.*
RewriteRule .* - [G,L]

Яндексу сообщаем код 410 (Удалено)

R
На сайте с 22.06.2007
Offline
174
#16

А что лучше 404 или 410, чтобы быстрее выпасть из индекса?

S3
На сайте с 04.10.2007
Offline
45
#17
Reise:
А что лучше 404 или 410, чтобы быстрее выпасть из индекса?

В робатсе поставь запрет на индексацию сайта Яндексом и не парся - самый простой вариант;)

Пардон добавлю, да 404 как указвали ранее пропиши через PHP так как написано в Faq Яндекса ему нужна именно 404 - нахрена ещё что то изобретать с 410

Возьму на продвижение сайты.
A5
На сайте с 06.08.2006
Offline
46
#18
Reise:
А что лучше 404 или 410, чтобы быстрее выпасть из индекса?

Я не знаю, что быстрее. Просто в Апаче сообщить код 404, наверное, будет сложнее чем 410.

R
На сайте с 22.06.2007
Offline
174
#19

Сделал так

RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^Yandex
RewriteRule ^.*$ - [F]

И теперь если удалять через http://webmaster.yandex.ru/delurl.xml и выбирать

удалить только данный URL
сервер должен вернуть код ошибки
, то выдает
Документ http://site.ru/ будет удален из базы Яндекса в течение нескольких дней.

Значит, все сделано правильно, робот Яндекса сайта не видет.

О результатах обязательно отпишу позже...

Спасибо всем за ответы и помощь!

overnight
На сайте с 23.05.2008
Offline
262
#20

простите, но вы пытаетесь решить проблему только техническим путём... вы писали яндексу из панели вебмастера? как показывает практика - это самый быстрый путь разрешения, пока робота обманешь, пока он до тебя дойдёт, а вдруг ещё и не обманется? пишите в техподдержку, могу от себя сказать, что ответы достаточно быстрые и даже если есть пессимизация - после устранения причин - месяц карантина и вы в порядке...

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий