Яндекс и rel "nofollow"

Действительно, правила в robots.txt, noindex, meta и т.д. - это рекомендации поисковому роботу, а не жесткие правила. Кстати, как и сама ссылка... ее наличие не гарантирует на 100% что робот по ней пойдет.

Связанно это не с ИИ, а с реализацией самого робота. Скорее всего, ссылки заключенный в noindex, не будут учитываться (как и текст), но то что он не анализируется - сказать никто не сможет.

PS Уже много раз всплывали вопросы, как закрыть страницы или ссылки от ботов яши или кого-то другого. Зачем полагаться на исполнение рекомендация, если можно закрыть все реально.

ссылки:

1. делать переход не на прямую, а через редирект., типа jump.pl&url=http://....

(гугл вес передаст, яша,возможно пока, - нет)

2. Использовать переход через JS.

Страницы:

1. Используйте авторизацию.

2. Если Вы дружите с программированием, анализируйте куки. Боты всегда идут без них.

Ну, к примеру, так:

<noindex> <p> text </p> </noindex>

а НЕ так:

<p> <noindex> text </p> </noindex>

Неправда.

robots.txt и <noindex> - прямое указание, а не рекомендация. Из-за этого бывают проблемы, но это единственно возможный корректный путь.

С noindex есть одно исключение - текст в нем показывается в сохраненной копии.

Если кто-то утверждает обратное - давайте пример, объясню на пальцах почему индексируется - и проблема будет не в noindex.

И где гарантия, что бот его не съест? ;) Никаких.

Как тут писали, куки анализировать... Гм...😒 И что дальше? Пришел бот без куки - не отдаем ему страницу/не выводим блок "не для индексирования"? ИМХО, очень получается походе на клоакинг...🙅 С авторизацией - отдавать только главную? А если у меня интернет-магазин, и у пользователя куки отключены? И PHPSESSIONID отключены в модреврайте (не обрабатываются в браузере - есть такая мулька в кастомизированных браузерах)? Посмотрит пользователь на мордочку, сунется в раздел/товар - а ему опять мордочку... Ну он и свалит, не долго думая... А такие ходят, и ходят денежные юзвери, с казначейства РФ например ;) И что же мне, деньги терять таким макаром?

Точно был. Там еще про ТИц описывалось вторым проходом, и более детально, помимио основной темы о ТИц в факе. Там же и этот тэг был упомянут.

noindex -ом не пользуюсь давно, возможно что-то и изменилось..., но вот на счет роботса.

Если бот так трепетен к указанным в нем правилам, то почему роботс.тхт перечитывается не перд каждым визитом. Значит существует некий периуд времени, когда робот ходит по "сохраненной копии" роботса.

У меня очень часто яша считывает роботса. Скорее всего, что не в каждом визите это потому, что - он зайдет, считает роботса, потом наберет в буфер ссылок для обхода, пройдет из них не много и уходит а потом опять из уже набранных проходит и уходит и так пока буфер не кончится, а потом опять сначала - роботс и т.д.

Извини, но - в начале каждого из визитов (сессий). Не перед каждой страницей - да. Но там по-другому нельзя. Так что период кеша robots измеряется минутами....

А что, ты его чаще меняешь? robots.txt cloacking? :-)

Интересно было бы придумать задачку, которую таким способом можно было-бы решить. Ну кроме "задурить башку" роботу.

Если верить логам, роботс перечитывается 1 раз в 2-3 дня. А боты с разными индексами, на сайте ежедневно. Может это сессия такая растянутая?

PS. Если чесно, - то сие волнует очень мало, ибо от индексации закрыто тольок то, что боту тольок мешает (типа разного представления одной и той же страницы). Но интересно, что же происходит на самом деле.

А вы, случаем не путаете значение аттрибута "rel" тега <a> со значением мета-тега robots?