Спасибо, теперь понятно :)
Я до конца не понял как должна интерпретироваться эта директива
То ли она указывает какой из алиасов главный (что в этом случае делать роботу, если по его данным некоторые сайты на этом айпи это не алиасы, а разные по содержанию сайты?), то ли что все остальные хосты это алиасы (и робот обязан считать что это так, независимо от имеющегося у него собственного мнения на этот счет), то ли что все остальные хосты на этом айпи не надо индексировать (то есть алиасы строго говоря вообще ни при чем и теоретически ничто не мешает запретить этой директивой к индексации разные сайты на одном айпи -хоть это и нелогично делать таким способом)
Роботы известных поисковиков всегда представляются.
специально выключили пока
причина в том, что link= использовали в основном с целью оценки ВИЦ, для чего он вообще-то никогда не был предназначен и очень часто вводил в заблуждение
Пока не вижу серьезных оснований запрещать роботу брать такие ссылки. Обсуждаемый случай, я думаю, все-таки нетипичный, да и особых проблем он не вызвал.
Конечно, речь только о навигации робота - не о ВИЦ.
имхо нет
Задача робота (одна из) находить ранее неизвестные ему документы. Если на страницу есть ссылка, пусть без текста, то вполне вероятно, что она (страница) действительно существует. Можно, конечно, считать обязательным условием видимость ссылки, но можно и не считать. Тем более что из того, что роботу страница видна только по такой ссылке, еще не следует, что она недоступна пользователю (она может быть доступна ему через ссылку на javascript, форму и т.д.)
Это какой-то глюк, причем не связанный с парсингом robots.txt (если только он на этом сайте не менялся с тех пор). К сожалению, сейчас уже сложно понять, нужных логов не осталось
Да :)
Если посмотреть source у, например, то там можно найти ссылку на с текстом nbsp;nbsp; (она перед ссылкой на первую страницу топика)
У апорта давным-давно база разбивается на кластеры, еще с конца 99 года. И если какой-то сервер не отвечает (из-за перегруженности, например) то сайты из соответствующего кластера не попадают в результаты поиска.
Да, это они и есть
Поздравляю ! :)
