Штаб Google рекомендовал считать данный запрос бессмысленным и не использовать.
Мобильный поиск - в большинстве случаев клиентура из сотовых сетей. А в странах СНГ эти сети не всегда для граждан безлимитные. Благодаря владельцам гивносайтов, которые читали новости о том, как будет ранжироваться мобильный сайт в соответствующем поиске, и просчитали, что можно нагибать пользователей снова и успешно, получив такой карт-бланш, в мобильном индексе получилось плохо. На данный момент ручные меры, откаты и прочая фигня. Как Гугл поборет гс, отфильтрует всякую хрень, так получать плюсы будут все.
Три возможных варианта:
-- алгоритмы определения качества сайтов определили ему место
-- сайт стал гс
-- кривые руки сюда подставить виновного
На StopBadware же всё написано.
Из персонального блек-листа от недели до нескольких месяцев.
Тут вроде всё просто, если у вас реально два одинаковых сайта.
На российском сайте пишете в host этот домен (вроде этого достаточно для Яндекса, чтобы домен стал главным зеркалом без редиректа, хотя лучше уточнить в Справке).
На украинском ставите на каждую ссылку рел каноникал на украинский домен и на российском тоже ставите рел каноникал на украинский домен (Яндекс не читает междоменные канонические ссылки, уточните в Справке Яндекса, зато Google читает).
Это конечно не трувей, но возможно.
В этом случае не делать полными дублями намного проще, чем изголяться.
Как бы... если закрыть, то эти ссылки потеряют сниппет (появится заглушка) и уйдут в задницу ссылочной базы сайта. Если не закрыть, пс будет обновлять по ним информацию, а дальше всё решит случай.
Оператором или просто вбить url.
Насчёт инструмента, есть статистика, но она неточная (данные всё время опаздывают).
С дублями борются метатегом, x-robots, 404 (просто удаление страницы), настраивают параметры url, понижают приоритет, ставят канонические ссылки.
Страницы никогда не уходят, если отдают 200ОК. Опять же мусор, хоть и в индексе, в выдаче тоже не участвует.
Сейчас экспериментально Google делает группы дублей и не индексирует триллион страниц, выбирая только нужные. Но это не у всех.
Да, если хочется, чтобы такие страницы ушли из индекса.
Google работает с robots.txt точно так же, как и 3 года назад.
Это естественно. Краулер не смог прочитать стили и поэтому не обновлял информацию о сайте. Открыть всё, иначе кукиш.
Есть хорошая статья о генерации плохих и хороших ссылок.
Уважаемые люди из компании написали достаточно документации, просто надо читать вдумчиво. Лучше на родном (англ). Шаманство - это конечно хорошо, но когда на кону стоит чужой коммерческий проект, фантазиями и экспериментами увлекаться не стоит.
Как работает robots в Google, и чем отличается сканирование от индексирования.
Рекомендательный - неудачное определение переводчика (первоисточник - Robots.txt instructions are directives only). Это не в том смысле, что можно делать, а можно не делать, а в том, что не стандартизированные прямые команды. В частности, у Яндекс другой механизм работы с robots.txt.
Краулер - сканирующий механизм, включает заход бота на страницу. Механизм называется по-русски "сканирование" (чтение страницы без обработки) .
Robots.txt управляет только сканированием. То есть включает/выключает доступ для робота. К индексированию, то есть процессам вне сайта он уже не имеет отношения.
Метатег robots с параметром noindex (аналог заголовок x-robots) управляет уже индексированием. Страница с данным метатегом продолжает сканироваться роботом, но параметр noindex запрещает ей попадать или оставаться в поисковой базе (->выдаче).
Например, если повесить метатег noindex и запретить страницу в robots.txt, она останется в индексе, потому что Google не сможет считать параметр метатега из-за закрытого доступа.
Если до момента публикации контента закрыть в robots страницы, они не попадут в индекс, потому что бот не будет их читать. Если закрыть после публикации, они останутся в индексе в том состоянии, в котором находились до момента закрытия. Информация по ним не обновится, Google сотрёт сниппет (по правилам необновляемой информации) и отправит в "похожие" страницы.
Инструкции Robots.txt полностью поддерживаются Google согласно правилам ПС, и никаких случаев "читает-не читает" быть не должно. Убийство robots.txt на работающем сайте, насколько я помню, должно привести к ограничению доступа для робота.
вот именно
По сути бесконечно, опускаясь в самый зад. Иногда группируются в дубли. Может что-то ещё экспериментальное происходит.
Здравствуйте, не может.
Единственное неудобство - порча статистики и лишние запросы.
Как раз наоборот. Запрещён краулинг вот этого всего ?order= (если правильно правило сформулировали). Но индексирование нет, ибо robots.txt управляет только краулером. Чтобы выкурить из индекса всё, что туда запустили, нужно дать в robots.txt доступ краулеру (иначе он ничего не узнает об изменениях на страницах), а на страницы повесить метатег. В противном случае закрытые страницы в robots.txt потеряют сниппет и уйдут в "сопли".
А вот тут матчасть.
Так же проблему дублей можно решать с помощью канонизации ссылок.
