Форум Поисковые системы Яндекс

Подстава от Яндекса?

A
На сайте с 09.08.2004
Offline
82
Asher
598

На днях выяснилась одна очень неприятная особенность Яндекс-бота.

Допустим вы имеете сайт на хостинге типа Зенона и к этому сайту прикручиваете поиск по Yandex-Site.

Имеется у вас раздел (например форум, в котором есть свой внутренний поиск), в который вы не хотите пускать внутреннего Яндекс-бота (Zenon-Yandex), но тем не менее вам надо, чтобы большой бот (Yandex/1.01.001) проиндексировал этот раздел.

Для этого в robots.txt добавляются следующие строки:

User-agent: Zenon-Yandex
Disallow: /forum/

Так вот, раздел /forum/ НЕ БУДЕТ ПРОИНДЕКСИРОВАН как Zenon-Yandex, так и его большим братом Yandex/1.01.001.

При добавлении любой странички из этого каталога в форму Яндекса для добавления новых сайтов http://webmaster.yandex.ru/, для нее выдается сообщение системы о том, что данная страничка запрещена к индексации в robots.txt

Похоже эта проблема касается всех, кто использует на своих сайтах внутренний поиск от "Yandex-Site".

Snake
На сайте с 18.06.2004
Offline
148
Snake
#1

имхо чего уж проще: отлавливать своего яндекс бота по юзер агенту и перенаправлять(редиректить) куда нибудь.. собственный яндекс вас надеюсь не забанит за это :)

А разработчикам Yandex-Site надо было этот момент описать как "отличительную особенность программы"

Яндекс кобласит Упал доход Унижения яндекса продолжается, накрутка

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий