Так то да, этой строки в файле не было, но он помоему все равно работал, хотя без нее он должен был файл проигнорировать.
Если вообще User-agent не было в файле robots.txt он исполнит секцию Disallow: ?
Я уже снял инструкцию к запрету, вопрос в том остались ли эти страницы в другом индексе или эти адреса вообще уже потеряны и тогда эти страницы не проклеются и не покажутся на нужных местах.
А если в robots.txt - User-agent: * - не было указано, то он будет смотреть все инструкции которые шли после него ?
Спасибо за ответ.
Так там со старых адресов вида index.php везде стоял и стоит прям щас 301 редирект. Просто что бы дублей в выдаче не было я закрыл все страницы вида index.php? и еще по техническим причинам тоже это сделал.
Вопрос помешало или помешает это роботу ? Он же все равно должен увидеть что там 301 редирект ? Раньше проблем не было таких. Просто новые URL уже показываются в выдаче но позиции их ниже старых....
Я так понимаю никто с таким не сталкивался ??? Просто вопрос достаточно интересный и может ли быть такая проблема при такой инструкции в robots.txt.
Извините за мат, но просто уже нет сил...
Нет я ничего против сервисов не имею, они дают реальный огромный выбор, хотя зачастую и накручивают комиссию с клиента и с гостиницы. Но зачем показывать 90% - 10%, если раньше было 50-50% то щас вообще уже к 100% близко.
Да и если возникнут проблемы или отменить бронь, что они будут звонить в сервис, те в гостиницу, там такая муть пойдет, или вернуть предоплату, что клиенту тяжко будет...
Спасибо, я что-то про RedirectMatch вообще забыл=) Пытался через RewriteRule.
Спасибо еще раз.
Ну это косяк я и не спорю. Ну отработал СПЕКТР не правильно и поместил на 9-10 место он сайт не из той тематики. Зайдите через час его там уже не будет наверно, да и вряд ли он вообще в яндекс XML там щас существует. Я уверен таких косяков у 10% процентов запросов суточных. И к ссылкам это вообще не имеет отношения. Больше напрягает что он забивает своими сервисами в топе места. Вот это печаль.
Из за чего сыр-бор? Ну подумаешь подмешка накосячала, то что там косяков много и выдача не всегда оправдывает ожидания и так вроде все знают ? О чем тема вообще ?
Платонам писал по этому поводу, даже скрины графиков давал с истории. Ответили шаблонно, что наши алгоритмы должны давать актуальный ответ и они сами определяют что в индексе должно быть, посоветовать что-то дельное так и не смогли, сказали что тех. проблем нету и что робот должен все скушать.
Интересная ситуация впервые такое, буквально в декабре - январе все нормально кушалось с твитера и добавлялось ( главное что оставалось в индексе, а сейчас куда-то улетает ) и проблем со страницами вообще не было, сейчас караул уже.
