SAlex: Яндекс не обращает внимание на роботс, это знает любой кто клеил зеркала. Роботс к теме притянут за уши, т.к. его нет в действующем законодательстве РФ и для
суда наличие/отсутствие роботса не имеет никакой разницы.
Зеркала и индексация - суть вещей разная. И роботс бот исправно выполняет.
M-Borman: Всё-таки, эта история повлияла на Яндекс, сотрудник Яндекса: "Мы усиленно работаем над резким сокращением срока между обнаружением нового robots.txt на некотором сайте и автоматическим приведением результатов поиска в соответствие с ним"
Фигасе! Так они же заявляли, что роботс скачивается в начале каждой сессии обхода сайта.
Судя по сегодняшним логам Апача словарь скриптидисов расширился значительно.😂
Ща еще эти волну поднимут.
Так они ходят по сцылкам которых нет.
За то есть хакерские и скриптидисные словари... сцылок. ;)
у меня запрещённые в роботсе страницы висят в поиске до месяца, потом исчезают, потом новые вылезают...
Так это еще поверить надо... всмысле роботс на правильность.:)
SVE, чё сказать-то хотел?
Как правая и левая рука одного тела.
И когда в Яндексе, последний раз, левая знала про другую?😂
Яндекс не обращает внимание на роботс, это знает любой кто клеил зеркала. Роботс к теме притянут за уши, т.к. его нет в действующем законодательстве РФ и для
суда наличие/отсутствие роботса не имеет никакой разницы.
Зеркала и индексация - суть вещей разная. И роботс бот исправно выполняет.
Вы издеваетесь? Это все носит рекомендательный характер
Так если Яндекс про нее говорит, то значить....
Сделай для робота Яндекса отдельную секцию. Делов-то...
... прописывать название файла админки в роботс нецелесообразно, это палево файла переименованного мною из-за соображений безопасности...
Палево всё, что в паблик. И пофиг, роботс, серп и пр...
Все-таки яндекс редиска
Он зеркало, отражающая всё. В том числе и любую кривизну. ;)
Так чё пинать себя. :)
...что бы удалить документ из индекса на основании роботса, необходимо что бы страницу удалили из панели вебмастера принудительно...
Эт с какого дуба?
... или дождаться обхода роботом именно этой страницы, а не просто захода робота на сайт для индексации чего-нибудь :)
Если такая логика была заложена изначально.
Но, она ошибочна априоре. И, видимо, она и существует сейчас.
Тогда... Кто ССЗБ? ;)
Всё-таки, эта история повлияла на Яндекс, сотрудник Яндекса: "Мы усиленно работаем над резким сокращением срока между обнаружением нового robots.txt на некотором сайте и автоматическим приведением результатов поиска в соответствие с ним"
Фигасе! Так они же заявляли, что роботс скачивается в начале каждой сессии обхода сайта.