Яндекс ходит по запрещенным страницам

123 4
ВC
На сайте с 02.02.2006
Offline
463
#11
burunduk:
да,
более того у пс есть роботы которые проходят по ВСЕМ файлам участвующими в формировании страницы :)

Тогда это хорошо!

Получается, что можно Яндекс проинформировать о чем-то (о наличии ссылки, например, и не только), но не пускать эту информацию в индекс, просто спрятав её в скрипт.

Так?

[Удален]
#12
богоносец:
А выполняют ли их содержимое?.. как браузеры.

почти -формирование вида страницы в гугле

у Яши проверка на вирусы :)

---------- Добавлено 08.03.2012 в 16:16 ----------

Владимир-C:
Так?

нет :)

10 символов

Shlackbaum
На сайте с 18.08.2010
Offline
322
#13
Seo-Seo:

Ну это уже перебор. Есть такая вещь, как "найден по ссылке". поэтому и может присутствовать в выдаче такая страница, равно как и в гугле. Но если ссылок нет - страница из выдачи все-таки вылетает.

А как насчет того, что в роботсе новый сайт может быть полностью закрыт от индексации - и все равно он может попасть в индекс?

У меня лично был такой случай. У сотрудника в компании - также был такой случай.

За базар отвечаю:)

Пустота. Какого черта здесь появляется чья-то реклама?
di_max
На сайте с 27.12.2006
Offline
262
#14

Shlackbaum, нефех ползать по сайтеку Баром-растаборам и сцылками кидаться в почте. :)

// Все наши проблемы от нашего не знания...
Shlackbaum
На сайте с 18.08.2010
Offline
322
#15
di_max:
Shlackbaum, нефех ползать по сайтеку Баром-растаборам и сцылками кидаться в почте. :)

Директивы robots.txt должны меня защищать от эффекта этих мероприятий

di_max
На сайте с 27.12.2006
Offline
262
#16
Shlackbaum:
Директивы robots.txt должны меня защищать от эффекта этих мероприятий

Ну ты это пожалуйся Мегафону и секс-шопам... :)

[Удален]
#17
Shlackbaum:
Директивы robots.txt

вообще-то носят чисто рекомендательный характер и необязательны для исполнения :)

в отличии от ответа сервера отдайте 404 ответ и длину документа 0 в индекс точно не попадёте :)

Shlackbaum
На сайте с 18.08.2010
Offline
322
#18
di_max:
Ну ты это пожалуйся Мегафону и секс-шопам... :)

Ну вот если бы у меня были большие секс-шопы - Яндекс мне заплатил бы за молчание, как это было с Мегафоном и другими любителями анальных стимуляторов.

А пока я кричу: "Яндексу насрать на ваши запреты индексации с высокой колокольни"

---------- Добавлено 08.03.2012 в 15:31 ----------

burunduk:
вообще-то носят чисто рекомендательный характер и необязательны для исполнения :)
в отличии от ответа сервера отдайте 404 ответ и длину документа 0 в индекс точно не попадёте :)
Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Кеп

10 кепов...

di_max
На сайте с 27.12.2006
Offline
262
#19
Shlackbaum:

А пока я кричу - Яндексу насрать на ваши запреты индексации с высокой колокольни

Ну прежде чем орать "яндекс во всем виновытый", хотелось бы увидеть пример нарушения им такого robots.txt

User-agent: *
Disallow: /
Shlackbaum
На сайте с 18.08.2010
Offline
322
#20
di_max:
Ну прежде чем орать "яндекс во всем виновытый", хотелось бы увидеть пример нарушения им такого robots.txt

Слово даю - было такое :)

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий