Bing и robots.txt

Р
На сайте с 10.10.2011
Offline
63
2383

Настроил robots.txt по правилам, опирался на Google и Яндекс. В файле указаны только дериктивы Disallow для конкретных путей, что на практике означает индексированть всё кроме них.

Упомянутые выше поисковики сайт индексируют, а Bing нет и в результатах выдачи пишет следующее: Мы хотели бы показать здесь описание, но сайт, который вы просматриваете, этого не позволяет.

Что, у Майкрософт своё понимание правил индексации или это сбой? Если смотреть на родной свод правил http://www_bing_com/robots.txt, то построение правил такое же.

Разрешаю пользователям высокого мнения о себе и своих способностях минусовать мою репутацию )
Sower
На сайте с 30.12.2009
Offline
647
#1

По моему в панели вебмастра бинга (аналог гугловского WMT) тоже есть функция посмотреть как бот. Зарегистрируйтесь и гляньте что ему не так.

__________________Бесплатная накрутка ПФ: посещаемость, просмотры, переходы с поисковиков по ключевикам, итд.
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)
Р
На сайте с 10.10.2011
Offline
63
#2

Народ, очень страннно, что это за упомянутое выше предложение (выделено курсивом)? Присутствует во всех поисковых системах для многих ссылок и сайтов.

---------- Добавлено 07.06.2013 в 20:32 ----------

Вроде разобрался, похоже разработчики Bing не позаботились о возможных "коллизиях" при индексации сайтов и правилах в robots.txt.

Если на странице сайта первой попадается запрещённая ссылка в robots.txt (является альтернативой /), то поисковик вместо просмотра остальных дальше не идёт, а в результатах выдачи появляется сообщение выше.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий