Яндекс рассекретил покупателей секс-шопов

Из-за большой любви к секс-шопам со стороны Яндекса, предлагаю выслать им по почте надувного ослика.

Kost очень толковый специалист. Значит такая команда была. Для чего? Значит так надо по ходу пьессы и/или по сценарию.

Разный конечно. Как правая и левая рука одного тела. Но роботс не может иметь разный статус: он либо обязателен, либо нет.

SAlex, откажитесь от дурной привычки гворить от имени всех, не берите на себя слишком много.

Вот я не знаю, что "Яндекс не обращает внимание на роботс", я знаю прямо противоположное.

Клеил недавно зеркала у клиента. Клиент, не подумав, и никому не сказав, жахнул редирект с основного домена на неосновной. Заметили только через неделю, редирект убрали, но было поздно - зеркало переклеилось не туда, куда надо. Но директива Host в robots.txt была, ее не стали трогать, еще через 3 недели переклеилось обратно благодаря ей.

И вы, welhor, тоже от имени других не выступайте, не имейте такой идиотской привычки.

Вы будете удивлены, но Яндекс и Гугл строго следуют всем этим директивам.

Но вы можете написать программу, которая будет скачивать страницы, не глядя в robots.txt. И вам за это скорее всего ничего не будет, именно из-за рекомендательного характера.

Но если будете парсить выдачу Яндекса, которую не рекомендуется парсить согласно www.yandex.ru/robots.txt, то ваш IP будет блокирован на какое-то время и вы не сможете пользоваться поиском Яндекса. Может вы и про это не знали?

Kost, не обижайтесь, никто не писал "мы думаем что Вася..."

я дисскутирую, но никак не вещаю от имени других. Примите мои извинения, если чем-то обидел

Яндекс - редиска, пользователи - чудаки, владельцы магазинов тоже не феи )))

У меня три апа яндекс положил с прибором на прописанные инструкции, правда и апы странные были

upd. пожалуйста, наминусуйте мне в репу, это так весело ))

3-4 недели, увы, а то и больше.

Может. Если вебмастеру нет необходимости ничего закрывать от индексации, robots.txt не нужен.

Что вы придумываете какой-то бред?

И когда в Яндексе, последний раз, левая знала про другую?😂

Да причем здесь роботс.тхт, если информация лежала открыто? Суть не в том, что сайты сами разрешили проиндексировать страницы, а в том, что в первую очередь сама конфиденциальная информация лежала в паблике. Любой черный кравлер, который ложит на роботс поимеет туда доступ. И что, тоже яндекс виноват?

Если нужная страница закрыта паролем, который не передается явно, то вы хоть 5 баров вместе с метрикой поставьте, содержимого страницы вы не получите.

SVE, чё сказать-то хотел?

да конечно.

Вы бы тему почитали, тут были как раз такие страницы, с паролем по ссылке и инфой в кэше