Re: Резкое падение позиций в Яндексе, есть ответ Платона 2ч

Ещё раз спасибо всем, кто дал ответ на моё сообщение о странных новых адресах в Яндекс-Метрике! Хотел бы вновь вернуться к этой теме и поделиться наблюдениями, которые отчасти могут пролить свет на смысл этой новой хакерской атаки.

Написал письмо Платонам о том, что на страницы сайта кто-то заходит, несколько модифицируя его адреса – и в результате эти исковерканные адреса становятся основными в поиске Яндекса. Платоны в ответ посоветовали указывать на всех страницах сайта атрибут rel="canonical" тега <link>. Его содержанием должен быть правильный адрес страницы. В таком случае, даже если поисковый робот зайдёт на страницу по исковерканному хакерами адресу, он увидит в rel="canonical" правильный – и в дальнейшем будет индексировать только его.

Совет, в общем, хороший, но как осуществить его в Джумле 3, на которой сделан мой сайт? Ведь известно, что разработчики этой CMS допустили досадную ошибку, в результате которой именно атрибут rel="canonical" записывается на страницах неправильно. Об этой ошибке можно прочитать здесь и здесь.

Об ошибке этой известно уже давно. Первое время владельцы сайтов, использовавшие Джумла 3, старались исправлять её «радикальным» способом: просто удаляя из одного программного файла Джумлы запись атрибута rel="canonical", который в этом случае на страницах вообще не выводился.

До недавнего времени применял этот способ и я. Однако вышеупомянутый совет службы поддержки Яндекса заставил призадуматься: а, может, rel="canonical" действительно очень полезен, и есть способы выводить его в Джумле в правильном виде?

Поискал в Сети и нашёл вот этот способ, предложенный самими разработчиками Джумлы. Применил его у себя – и вначале обрадовался: атрибут rel="canonical" начал везде писаться правильно!

Но радость была недолгой. Сразу вслед за этим я попробовал зайти на сайт по одному из исковерканных адресов, которые используют у меня хакеры. И выяснилось: rel="canonical" при этом будет записываться неправильно. К примеру, если должно быть

<link href="имя_сайта/index.php/web-moshenniki/1025-gobongo" rel="canonical" />

то будет:

<link href=" имя_сайта/index.php/web-moshenniki?catid=1025&amp;id=1025: gobongo" rel="canonical" />

Попробовал зайти по этому якобы «каноническому» адресу: оказалось, что произойдёт переход не нужную страницу, а на список материалов той категории, в которой она находится! То есть возобновляется та же ошибка, которая была изначально сделана в Джумле 3 и которую владелец сайта считает исправленной применением того метода, который был рекомендован разработчиками этой SMS! Хорошо, что у меня применялся «менее продвинутый» способ, который вообще удалял rel="canonical". В этом случае робот Яндекса просто начинал индексировать ту же страницу по новому адресу. Возникал как бы несуществующий дубль её на сайте. Это плохо, но индексация страницы в поисковике при этом всё же продолжается. А в противном случае страница вообще была бы выброшена из индекса – как «канонический» адрес для неё была бы указана вышестоящая категория!

ВОТ Я И ДУМАЮ: МОЖЕТ БЫТЬ, НА МНОГИХ САЙТАХ ИМЕННО ТАК И ПРОИСХОДИТ, А ИХ ВЛАДЕЛЬЦЫ ОБ ЭТОМ ДАЖЕ И НЕ ДОГАДЫВАЮТСЯ? МОЖЕТ БЫТЬ, НЕ ТОЛЬКО ДЛЯ ДЖУМЛЫ, НО И ДЛЯ МНОГИХ ДРУГИХ CMS, ГДЕ АТРИБУТ REL="CANONICAL" НЕ ВНОСИТСЯ ВЕБ-МАСТЕРОМ ВРУЧНУЮ, А ПИШЕТСЯ АВТОМАТИЧЕСКИ, ПРОСТОЙ ХАКЕРСКИЙ МЕТОД ЗАХОДОВ НА САЙТ ПО СЛЕГКА ИЗМЕНЁННЫМ АДРЕСАМ РАБОТАЕТ БЕЗОТКАЗНО? СТРАНИЦА ВЫЛЕТАЕТ ИЗ ПОИСКА, А ВЛАДЕЛЬЦЫ ДАЖЕ И НЕ МОГУТ ПОНЯТЬ, ПОЧЕМУ.

К ЭТОМУ И СВОДИТСЯ ИСТИННАЯ ЦЕЛЬ ХАКЕРОВ? ВЫБИТЬ ЛУЧШИЕ МАТЕРИАЛЫ САЙТА ИЗ ПОИСКА, МЕНЯЯ ИХ КАНОНИЧЕСКИЙ АДРЕС НЕЗАМЕТНО ДЛЯ САМОГО САЙТОВЛАДЕЛЬЦА? УЧИТЫВАЯ, ЧТО ВСЕ БОЛЬШЕ И БОЛЬШЕ ВЕБ-РЕСУРСОВ ДЕЛАЕТСЯ СЕЙЧАС НЕ "ВРУЧНУЮ", А С ПОМОЩЬЮ CMS, НЕТРУДНО ПРЕДСТАВИТЬ РАЗМЕРЫ ВРЕДА, КОТОРЫЙ МОЖНО ТАКИМ ОБРАЗОМ НАНЕСТИ!

Это только моё предположение. Не знаю, насколько оно оправдано, но иметь в виду эту проблему полезно всем, поэтому я здесь о ней и пишу.

Но как со всем этим бороться? Исковерканных адресов у меня в Метрике появляется всё больше – и, как правило, для самых посещаемых страниц. Писать для них всех запреты в robots.txt? Так он скоро вырастет на многие сотни строчек (что и указал Яндекс в ответе мне). Материалов у меня очень много, так что все левые адреса в Метрике не сразу и заметишь. К тому же для выброса их из индекса после запрета в robots.txt потребуется время. И войдёт ли СРАЗУ после этого в индекс правильный адрес? И КАК – в виде старой, авторитетной страницы или некоего «нового» материала, за которым ещё не числится никакой положительной и продолжительной истории просмотров?

Интересный способ предложил Перец. Но только я не понял: а как же в этом случае Яндекс вообще будет узнавать про новые страницы? Через карту сайта?

asd75, скажите, а как вы эти липовые адреса обнаружили? Потыкалась по Метрике и Ли-стату - не нашла.

И я по-прежнему в заднем проходе выдачи.🤪

по логам на хостинге или сервере/домены/логи

Вы неправильно поняли смысл того способа. Бот будет по-прежнему ходить по текущим адресам и одновременно он не будет видеть искореженные ссылки, так как они не будут пинговаться ботом (только через аддурилку если).

Этот способ имеет смысл, если на сайт есть заходы на левые адреса, но кто мешает скормить яндексу страницу с кучей левых адресов или тупо купить говноссылки на несуществующие страницы. Проблему надо решать полностью, а именно перенаправлениями через 301 редирект на нужную, либо отдавать 404 код, либо использовать каноникал, как кому нравится. Можно сделать как через .htaccess, так и через php с большими возможностями. Рекомендую заплатить знающему человеку и избавиться полностью от проблемы. Это не будет стоить дорого, так как проблема стандартная.

AnnaLw, заходы через «липовые» адреса отображаются в Метрике. Я раньше писал, что хакер, использующий такой адрес, лишь слегка меняет настоящий. Например, в Джумле вместо

имя_сайта/index.php/web-moshenniki/1025-gobongo

может быть что-то вроде

имя_сайта/index.php/web-moshenniki/1025-go

имя_сайта/index.php/web-moshenniki/1025-butylka

и т. д.

Присмотритесь повнимательнее у себя. Это не сразу бросается в глаза. А когда и заметишь, то кажется просто случайной ошибкой какого-то посетителя.

Последнее время я замечаю в «левых адресах» даже исправление названий категорий – и очень хитрые. Например, вместо

имя_сайта/index.php/web-moshenniki/1025-gobongo

может быть написано

имя_сайта/index.php/web-mosheniki/1025-gobongo

всё сделано так, чтобы «правка адреса» была как можно менее заметной. И самое главное: если в адресе есть порядковый идентификатор (номер) материала, то переход на него всё равно произойдёт даже при изменении остальных частей адреса. По-крайней мере, в Джумле.

В результате Яндекс начинает в своём поиске использовать умышленно изменённый адрес вместо настоящего. Трудно сказать к чему это приведёт, но весьма чревато понижением ранга страницы. Ведь не исключено, что вместе с этим перестаёт учитываться прежняя история просмотров этого материала: он воспринимается как «новый», малоавторитетный.

Всё это здесь уже обсуждалось, но в своём предыдущем сообщении я хотел подчеркнуть ещё одну, пока никем не упомянутую особенность подобного хака. Лично мне невольно помогло то, что я применял не совсем верный способ исправления Джумлы 3, на которой сделан мой сайт. Автоматически записываемый CMS на каждой странице атрибут rel="canonical" тега <link> при этом удалялся совсем. Поэтому страница с «искорёженным» хакерами адресом всё же оставалась в индексе, хотя могла и понижаться в нём. Но если исправить Джумлу иным способом (теоретически более правильным), то поисковик, «заглотив» неверный адрес, получит вместе с ним и искажённое значение rel="canonical", которое по идее вообще может выкинуть страницу из индекса.

В этом случае заходы на такую страницу из Яндекса, скорее всего, вообще прекратятся, и неверный адрес не будет отображаться в Метрике. (В выдаче Гугла я таких искажённых адресов пока не обнаруживаю.)

Я проверял всё это для Джумлы 3, но, вполне возможно, что тот же процесс работает и для других CMS с автоматической записью rel="canonical" – атрибута сравнительно нового, но быстро набирающего популярность.

Впрочем, для каждого отдельного сайта всё это легко проверить. Загрузите в браузер свои страницы, которые, как вы считаете, недооценены Яндексом, откройте их html-код и попробуйте через меню «найти» поискать в них выражение rel="canonical". Если его значение совпадает с действительным адресом страницы, значит, всё в порядке.

---------- Добавлено 09.11.2014 в 16:51 ----------

Awasome, большое спасибо за разъяснение! А верно ли я понял, что при «способе Перца» придётся загрузить новый код счётчика Яндекса и заменить им на сайте старый?

Вопрос этот поднимался в два года назад. Долбилщики адресов просто перебирают по буквам адрес, например,

имя_сайта/index.php/web-moshenniki/1025-go

имя_сайта/index.php/web-moshenniki/1025-gob

имя_сайта/index.php/web-moshenniki/1025-gobo

имя_сайта/index.php/web-moshenniki/1025-gobon

имя_сайта/index.php/web-moshenniki/1025-gobong

имя_сайта/index.php/web-moshenniki/1025-gobongo

И если движок настроек криво (а на тот момент так и было - кривая попалась CMS), то в поиске появляются множество адресов, и как следствие падение трафика. Мне удалось все вернуть, просто настроив движок (отдача кода ошибки 404).

Наверное, я другими методами пользуюсь.

По-хорошему должен отдавать основную страницу.

Ну, тогда у вас будет миллион страниц. По-хорошему, если страницы не существует - выдавать код 404.

C чего бы миллион? Основная страница - имя_сайта/index.php/web-moshenniki/, при наборе имя_сайта/index.php/web-moshenniki/sdfvdsvd должна выводиться имя_сайта/index.php/web-moshenniki/. Вот и вся прелесть. На вп я-таки нашел плагин, который так умеет делать, только проблема в том, что при гет-запросах он перебрасывает на основную страницу, но при этом продолжает создавать страницы в кеше. Так и не понял, почему это происходит.