Яндекс ходит по запрещенным страницам

1 234
di_max
На сайте с 27.12.2006
Offline
262
#21
Shlackbaum:
Слово даю - было такое :)

Что мне слово... Зуп давай! 😂

// Все наши проблемы от нашего не знания...
Shlackbaum
На сайте с 18.08.2010
Offline
322
#22
di_max:
Что мне слово... Зуп давай! 😂

держи)

Специально закрыл сайт от индексации до того момента, пока его не подготовлю, чтобы не загадить первичные ПФ. А он, скотина, взял и внес в индекс

Пустота. Какого черта здесь появляется чья-то реклама?
di_max
На сайте с 27.12.2006
Offline
262
#23
Shlackbaum:
держи)

Ок! Вставка зуба щаз под 40 тыров.

Проводим ехпиримент.

Создаем сайтег в адну страничку про фиолетовороботов и их ПС-ы с уником текстом

и роботс такого содержания:

User-agent: Yandex
Disallow: /

Пихаем во всй аддурилки и смотри результ.

В Гугле она быть должна, а у Яндекса - нет.

Идет?

Котрольный срок - согласуем.

Shlackbaum
На сайте с 18.08.2010
Offline
322
#24
di_max:

Идет?

Нет, не идет. Мой случай мог быть единичным или глюком. Но он был. Я ж не говорю, что директива в принципе не работает

6uoncuxo3
На сайте с 05.11.2008
Offline
202
#25
di_max:
Создаем сайтег в адну страничку про фиолетовороботов и их ПС-ы с уником текстом
и роботс такого содержания:

Ты реально не видел страницы, которые в индексе сидят, будучи запрещёнными в robots.txt? Я про Яндекс, еси чо. С Гуглом и так всё понятно.

burunduk:
в отличии от ответа сервера отдайте 404 ответ

Да два с лихом года уже отдаю 404, всё равно откуда-то находит. Показывать не буду, параноик я.

We all live in a sick world, where hatred is a weapon, and freedom - a dream. © На небе — Бог, на земле — Россия. © Сербская поговорка.
di_max
На сайте с 27.12.2006
Offline
262
#26
Shlackbaum:
Мой случай мог быть единичным или глюком.

В 99,9% случаев - глюк сидит за клавой. :)

То, что ошибки допускаем все мы - это тоже 100% очамвидный факт.

На днясь перебирая двешок сатика лоханулся и часть ссылок пошла в никуда.

Схватился через неделю заметив снижение трафа и активности.

Так шта...

- И на Шлакбаум бывает проруха. ;)

---------- Добавлено 08.03.2012 в 16:50 ----------

6uoncuxo3:
Ты реально не видел страницы, которые в индексе сидят, будучи запрещёнными в robots.txt?

Тынц дашь?

Shlackbaum
На сайте с 18.08.2010
Offline
322
#27
di_max:
В 99,9% случаев - глюк сидит за клавой. :)
То, что ошибки допускаем все мы - это тоже 100% очамвидный факт.
На днясь перебирая двешок сатика лоханулся и часть ссылок пошла в никуда.
Схватился через неделю заметив снижение трафа и активности.
Так шта...
- И на Шлакбаум бывает проруха. ;)

Ок. Привожу доп. аргумент:

Когда столкнулся со столь вопиющим Privacy Violation - я сразу полез искать свои ошибки. Думал увольняться пора. Залез в robots, поспрашивал коллег - все со мной были согласны. Пошел вот сюда и начал вводить УРЛы.

Там Яндекс был согласен, что сайт к индексации запрещен. А вот его индекс говорил об обратном. эка?

di_max
На сайте с 27.12.2006
Offline
262
#28
Shlackbaum:
эка?

И ты прав и яндекс нелев.

Но:


Правда всегда одна
Это сказал фараон
Он был очень умен
И за это его называли Тутанхамон
webrock
На сайте с 05.04.2010
Offline
261
#29
Владимир-C:
На сайте стоит аналитическая система, которая контролирует посещение страниц роботами. И по ней видно, что Яндекс посещал и страницы, запрещенные к индексации в robots.txt

роботы есть разные ...

страницы, которые не предназначены для индексации роботов, секретные, нужно отдавать кушать, либо 404 ошибку, либо редиректить на главную и всё.

в robots.txt "секреты" не открывают.

Полный аудит сайтов. (/ru/forum/765361)
богоносец
На сайте с 30.01.2007
Offline
774
#30
burunduk:
почти -формирование вида страницы в гугле
у Яши проверка на вирусы

Ну прям почти.

Кому интересно [ATTACH]105274[/ATTACH]

Сначала ReadMe.txt

Потом распакуйте папку, в ней три файла, проверите чего и как... нет ли чего вредного.

for-Bots.xml — уникализировать и показать боту.

Во всяких «аналитических системах» проверять: запрашивают ли боты user.js — в котором копипаст стартового поста.

zip Test-Bots.zip
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий