Форум Поисковые системы Яндекс

Боты игнорируют robots.txt

[Удален]
958

В нём собссно говоря написал вот что:

User-Agent: *
Disallow: /redirect.php

Не один робот не слушается, всё равно ходят туда, куда не надо.

[Удален]
#1

Да ладно :)

Доказательства в студию :)

[Удален]
#2
Да ладно

Доказательства в студию

Логи господа!

allexx
На сайте с 09.06.2003
Offline
95
allexx
#3

У меня тоже есть пример:

прописана директива host: www.site.ru

А Яндекс упрямо ест страницы без www, причем с большим удовольствием, чем страницы с www

Сайт не покажу, поверьте на слово :)

SEO Promotion Team (http://www.seo-promotion.ru)
[Удален]
#4
Не один робот не слушается, всё равно ходят туда, куда не надо.

Наверно аура у вашего сайта такая... влияет на роботов так, что они начинают себя вести не как у всех. :)

прописана директива host: www.site.ru
А Яндекс упрямо ест страницы без www, причем с большим удовольствием, чем страницы с www

А директива Host и не предлагает Яндексу склеивать домены. Вот когда уже сам решит, что надо склеить - при выборе главного дубля ее и будут учитывать.

Какой движок для интернет-магазина Яндекс кобласит Яндекс: 301-й редирект полностью
[Удален]
#5
Как писал Interitus
Наверно аура у вашего сайта такая... влияет на роботов так, что они начинают себя вести не как у всех. :)

Ты пошутил, я посмеялся....

Если хочешь проверить, через приват, дам логи, посмотришь сам!

[Удален]
#6

floyd, давай конечно, интересно же.

AiK
На сайте с 27.10.2000
Offline
257
AiK
#7

А сколько времени живёт этот robots.txt? Роботы с ним сверяются далеко не каждый визит...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий