InSAn, ОГРОМНЕЙШЕЕ спасибо!
Думаю, что и совет про урлы тоже учту :)
Приблизительно можно при помощи Google бара (Google's Page Rank)
Поможет только если ссылки будут находиться на страницах с большим ВИЦ.
А можно подробнее как формировать If-Modified-Since 😕
Ну и какой резон от этого?
Я ведь хочу, чтобы робот видел, что некоторые страницы не изменяли контент со времени прошлой индексации. А так что изменится -ничего.
Цитата из http://www.yandex.ru/addurl.html
Поисковая машина yandex.ru предназначена для работы с "русскоязычным" интернетом. Поэтому просим вас добавлять сервера, содержащие тексты на русском языке и/или имеющие отношение к России.
От простых идиотов можно защититься если прописать в конфиге апача строки при включенном модуле mod_rewrite:
RewriteCond %{HTTP_USER_AGENT} ^Teleport
RewriteCond %{HTTP_USER_AGENT} ^Wget
RewriteRule ^.*$ - [F]
Апач просто будет блокировать доступ для юзер агентов Teleport и Wget. Но более-меннее умный человек возьмет и изменит название своего агента. И строки становятся бесполезными.
А вообще есть методы анализа траффика на схожесть GET запросов по временнному интервалу с блоком по IP (т.е. попытка выявить аномальное поведение юзера, но при этом нельзя забывать, что к Вам приходят и поисковики).
Как мне кажется, самый простой метод- это тот, который я описал в начале.
Я представляю на сколько денег ежедневно попадает Майкрософт :)
Interitus спасибо за совет.
Да все верно, не попадает в индекс. К сожалению я сейчас не могу вспомнить пример на котором я убеждался в моей версии. Мой пример был на PHP, но это разве имеет какое-то значение. Он был точно по такой же схеме, и линк засчитался.
Мой опыт показывает, что именно Яндекс возьмет, другие нет.
Яндекс умеет брать линки из скриптов с внешней передачей данных.
Не умеет из явы с внутренней передачей данных.
У Вас на лицо внешняя передача, линк виден прямо в строке.
Я бы сказал, что Яндекс его возьмет, но возможно я ошибаюсь основываясь только на своем опыте.
