Дурной робот Апорта

12
M
На сайте с 05.06.2001
Offline
23
#11

имхо нет

Задача робота (одна из) находить ранее неизвестные ему документы. Если на страницу есть ссылка, пусть без текста, то вполне вероятно, что она (страница) действительно существует. Можно, конечно, считать обязательным условием видимость ссылки, но можно и не считать. Тем более что из того, что роботу страница видна только по такой ссылке, еще не следует, что она недоступна пользователю (она может быть доступна ему через ссылку на javascript, форму и т.д.)

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#12
Можно, конечно, считать обязательным условием видимость ссылки, но можно и не считать.

Так как выберем? Хотя особенность потенциально неприятная.

M
На сайте с 05.06.2001
Offline
23
#13

Пока не вижу серьезных оснований запрещать роботу брать такие ссылки. Обсуждаемый случай, я думаю, все-таки нетипичный, да и особых проблем он не вызвал.

Конечно, речь только о навигации робота - не о ВИЦ.

LM
На сайте с 30.11.2001
Offline
71
LiM
#14
Как писал Gray
Хех, действительно она там есть.
Хозяйке на заметку - Апорт читает ссылки, даже если они вообще не имеют текста.
Т.е. вида
<A HREF=""></A>

Хозяйке на заметку. Точно так же поступают Яндекс, Рамблер, Google и многие, многие другие... :D

С уважением, Андрей Хроленок. Загляни в FAQ по оптимизации и продвижению сайтов (http://www.seoman.ru/FAQ/) Анализатор страниц сайтов (http://www.seoman.ru/analizer/)
LD
На сайте с 12.06.2002
Offline
71
#15

Таки интересное (?) наблюдение:

есть поддомен 3-го уровня для раздела сайта. В конфиге апача стоит редирект (ну не могу пока всё переколбасить) на некоторый раздел внутри основного сайта. Засабмитил его в Апорт (16 часов за компом сказались :) )

Апорт, вместо того, чтобы пройти по ссылкам со страницы, на которую редиректится -- прошел снова по ссылкам, которые уже знает для основного сайта.

Причем наблюдение, не претендующее на истинность -- но в моем случае так: выбраны были в обоих случаях самые короткие URL :) -- не по глубине вложенности, а по длине в символах :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий