Прочитал, в частности
"Если канонические страницы настроены на сайте без ошибок, то никаких дополнительных действий от вебмастера не требуется."
Так какого же мне прилетает "критическая ошибка"? Да, я понимаю, что на всякое схваченное лишнее тратится краулинговый бюджет. Се ля ви. Не так его много, кстати.
Все согласны, что Яндекс правильно определяет канониклы? То есть вот они есть, и мы даже рекомендуем их. Но, пока вы не будете пихать всякий мусор в robots.txt, который поддерживается только Яндексом, пусть у вас горит страшная ошибка, так?
Я больше про то, что Яндекс считает это критической ошибкой и требует применить то, что уже применено.Я считаю, что canonical ПС должно учитываться прямо вот от зубов, как и 301. Мало ли, что юзеры скопипастят в URL...
Традиционный поток помоев вместо дельных советов :)
Спасибо, только vashfreelancer напомнил про разницу показателей, хотя, вроде, она формальная была, то есть с незначительной разницей. И интересная информация от Baruchka , хотя, как я помню, в GA всегда надо было вешать вызов их аналитики через setInterval, иначе отказы валились толпой именно по причине, что определить пользователя, зависшего на странице не удавалось.
С CloudFlare я уже потанцевал, спасибо. Во-первых, он тормозной и это логично, поскольку прокладка, на динамике его использовать нет смысла. Во-вторых, единственное, в чем он может помочь - преградить путь для забивания канала серьезным DDoSом. Все остальное сильно легче и правильнее сделать руками и самому. Ну и, наконец, вишенкой - я был в бане РКН попав с каким-то зловредом на один адрес CF, радости мало.
Про нагуливание профилей, еще раз, метрики и прочие все вот эти тормоза никак не могут точно определить, откуда они запускаются. Поэтому полагаются на то, что им говорит браузер, например, в referer, а подсунуть туда то, что нужно - вообще не проблема. Нагуливать и всякие клики устраивать можно вообще не подключаясь к сайту, на локальной странице.
Да при чем тут вредоносные-то? Я же выше писал, о каких ботах речь веду. Помимо ботов ПС по сайтам ходит еще большая куча совершенно мусорных ботов.
Если кто-то маскируется под гугл или яндекс его просто обратной проверкой доменного имени достаточно легко определить. Но я не про вредоносов.
Я две страницы толкую, что не так это, достаточно много ботов все же слушаются. Вот юзера и суммарное, стрелкой поставил, где поменял.
Нет, с этим все понятно и, извините, это как раз в пользу бедных, потому, что я, когда что-то сканю, в первую очередь меняю юзерагента.
Речь исключительно про robots.txt, зачем там исключать черным списком, когда можно исключать белым?
От всех ботов, как и говорил, понимаю, что не избавлю.
Но, например, от тех, кто доку к httrack не читал - избавлю. Кроме того, журналы на случай разбора полетов с ботами будут почище. Если бот лезет поперек правил - это плохой, негодный бот.Всякие Semrush, даже Мылру и Bing, которые сканят все мои страницы, но приводят меньше 10 пользователей в месяц, зато могут быть источником каких-то совсем ненужных мне исследований сайта или выбора его для парсинга...
