Правило, он не учитывает, это естественно. Как Вы определили что гугл будет игнорировать весь блок?
Shadow: вы уверены? если я не ошибаюсь 301-й редирект ставится для гугла, а яндекс никогда не склеит если будет стоять редирект.
Редирект спасает, верно, но если Вы его хотите использовать. Я стараюсь его не ставить. Если ссылки, в основной массе, ведут на нужное зеркало, то все будет нормально. И гугл и яша и рама, - все понимают корректно.
Интересно было бы придумать задачку, которую таким способом можно было-бы решить. Ну кроме "задурить башку" роботу.
Если верить логам, роботс перечитывается 1 раз в 2-3 дня. А боты с разными индексами, на сайте ежедневно. Может это сессия такая растянутая?
PS. Если чесно, - то сие волнует очень мало, ибо от индексации закрыто тольок то, что боту тольок мешает (типа разного представления одной и той же страницы). Но интересно, что же происходит на самом деле.
BigBrother: robots.txt и <noindex> - прямое указание, а не рекомендация. Из-за этого бывают проблемы, но это единственно возможный корректный путь.
noindex -ом не пользуюсь давно, возможно что-то и изменилось..., но вот на счет роботса.
Если бот так трепетен к указанным в нем правилам, то почему роботс.тхт перечитывается не перд каждым визитом. Значит существует некий периуд времени, когда робот ходит по "сохраненной копии" роботса.
jorevo: Тогда расскажите на основании каких параметров принимается решение об индексации текста заключенного в ноуиндекс... Я что-то не слышал пока об успешном внедрении систем исскуственного интеллекта в ПС.
Действительно, правила в robots.txt, noindex, meta и т.д. - это рекомендации поисковому роботу, а не жесткие правила. Кстати, как и сама ссылка... ее наличие не гарантирует на 100% что робот по ней пойдет.
Связанно это не с ИИ, а с реализацией самого робота. Скорее всего, ссылки заключенный в noindex, не будут учитываться (как и текст), но то что он не анализируется - сказать никто не сможет.
PS Уже много раз всплывали вопросы, как закрыть страницы или ссылки от ботов яши или кого-то другого. Зачем полагаться на исполнение рекомендация, если можно закрыть все реально.
ссылки:
1. делать переход не на прямую, а через редирект., типа jump.pl&url=http://....
(гугл вес передаст, яша,возможно пока, - нет)
2. Использовать переход через JS.
Страницы:
1. Используйте авторизацию.
2. Если Вы дружите с программированием, анализируйте куки. Боты всегда идут без них.
А может идет речь о релевантности ссылки, по отношению к остальным, которые ведут на эту-же страницу. А определяется релевантность, теми же критериями , как и запрос к странице при очень НЧ.
как это можно осуществить?
никак. Сайт не может принадлежать нескольким аккаунтам.
Яндексоиды считают, что ботам с некоторыми индексами (D, например, или H) соблюдать роботс не нужно.
Это больше похоже на правду, хотя на мой взгляд, если уж соблюдать, так везде (можно не соблюдать иконному)
Напрямую сказал, что не учитывает
Правило, он не учитывает, это естественно. Как Вы определили что гугл будет игнорировать весь блок?
вы уверены? если я не ошибаюсь 301-й редирект ставится для гугла, а яндекс никогда не склеит если будет стоять редирект.
Редирект спасает, верно, но если Вы его хотите использовать. Я стараюсь его не ставить. Если ссылки, в основной массе, ведут на нужное зеркало, то все будет нормально. И гугл и яша и рама, - все понимают корректно.
Я стараюсь не использовать
robots.txt cloacking? :-)
Интересно было бы придумать задачку, которую таким способом можно было-бы решить. Ну кроме "задурить башку" роботу.
Если верить логам, роботс перечитывается 1 раз в 2-3 дня. А боты с разными индексами, на сайте ежедневно. Может это сессия такая растянутая?
PS. Если чесно, - то сие волнует очень мало, ибо от индексации закрыто тольок то, что боту тольок мешает (типа разного представления одной и той же страницы). Но интересно, что же происходит на самом деле.
robots.txt и <noindex> - прямое указание, а не рекомендация. Из-за этого бывают проблемы, но это единственно возможный корректный путь.
noindex -ом не пользуюсь давно, возможно что-то и изменилось..., но вот на счет роботса.
Если бот так трепетен к указанным в нем правилам, то почему роботс.тхт перечитывается не перд каждым визитом. Значит существует некий периуд времени, когда робот ходит по "сохраненной копии" роботса.
Указывать именно для Яндекса нужно потому, что Гугль директиву Host посчитает неправильной и всю запись проигнорирует.
Нет, запись Гугл понимает, хотя говорит о предупреждении.
Тогда расскажите на основании каких параметров принимается решение об индексации текста заключенного в ноуиндекс... Я что-то не слышал пока об успешном внедрении систем исскуственного интеллекта в ПС.
Действительно, правила в robots.txt, noindex, meta и т.д. - это рекомендации поисковому роботу, а не жесткие правила. Кстати, как и сама ссылка... ее наличие не гарантирует на 100% что робот по ней пойдет.
Связанно это не с ИИ, а с реализацией самого робота. Скорее всего, ссылки заключенный в noindex, не будут учитываться (как и текст), но то что он не анализируется - сказать никто не сможет.
PS Уже много раз всплывали вопросы, как закрыть страницы или ссылки от ботов яши или кого-то другого. Зачем полагаться на исполнение рекомендация, если можно закрыть все реально.
ссылки:
1. делать переход не на прямую, а через редирект., типа jump.pl&url=http://....
(гугл вес передаст, яша,возможно пока, - нет)
2. Использовать переход через JS.
Страницы:
1. Используйте авторизацию.
2. Если Вы дружите с программированием, анализируйте куки. Боты всегда идут без них.
Ceres,
А может идет речь о релевантности ссылки, по отношению к остальным, которые ведут на эту-же страницу. А определяется релевантность, теми же критериями , как и запрос к странице при очень НЧ.
mr.Good,
Ссылка, с любого нормального сайта, имеет смысл
Я к примеру получаю статистику по ПР для своих сайтов с Яндекса.
Вы ща поняли сами, что сказали?
А Вы не пробовали получать информацию о дожде, пересчитывая деньги в кошельке?