Вы ошибаетесь в корне.
1. Инструкции в роботс, это не правила, а рекомендации.
2. Посмотрите логи сервера, и убедитесь, что роботс читается не каждый раз (индексатором)
3. Зеркальщик, ходит очень медленно, поэтому ждать результатов переклейки приходится не один месяц(часто, но бывают исключения)
4. Индексатор, заходя на сайт, за один заход, берет тольок часть информации, поэтому ждать полной замены в индексе приходится очень долго.
Чтобы избежать проблем, нужно сразу все прописывать в роботс, при старте сайта. Потом приходится расплачиваться кучей времени.
Вот именно! Сейчас идет тенденция к значительному упрощению всех алгоритмов.
victim,
http://avto.ru/robots.txt
кривой вариант,
а вот минимальный нормальный
# All robots will spider the domain User-agent: * Disallow: Host: www.site.ru
pro-maker,
Кеширование проверял, так-же пытался анализирывать, не пытается ли яша в "иной" выдаче выполнять региональный поиск. Все мимо. Через ап - все становится одинаковым, до следующего апа.
как 2 пальца об асфальт.
Сочетание, куков, ип, мас + загаловков и интересаса к определенным запросам/сайтам - дает очень хорошее представление о юзере.
Вы о чем????? Вы в кучу слили сетевой уровень и логический.
Ведь HTTP запрос вначале преобразуется в TCP/IP пакеты, которые , в свыою очередь, перобразуются в Ethernet (чаще всего) пакеты и передаются.
А на стороне сервера, определять не тольок IP но и MAC обратившегося - дело техники.
Я не могу однозначно утверждать, делает ли это яша. Но судя по тому, что он идет по стопам гугля, а тот уже давно помагает отлеживать всяких "нехороших" людей, то скорее всего именно такая технология используется, для слежения са пользователями.
burunduk, поэтому я и сказал о http://ripe.net/. Это касается сети а не яши. Читайте внимательней.
PS яша активно анализирует MAC. По крайней мере очень похоже на это.
И опять предсказамус оказался прав. То что он показывал утром, теперь стало и в обычной выдаче
Это называется маскарадинг или "мерцающий" IP - и то и другое противоречит правилам, но уже не яши, а RIPE, сдесь уже другие санкции и другие проблемы вы поимеете, если конечно провайдер раньше вас не закроет.
А какая разница, прокси или нет. Если запросы с одного ип, то в бан. А если прокся анаонимная, да еще и открытая, то через нее яша обращения не пустит.
