Алеандр

Алеандр
Рейтинг
208
Регистрация
08.12.2010
141c18
webinfo #:

Нет, не только. Когда висит ссылка на стороннем сайте, то поисковик даже не смотрит в роботс, а сразу переходит по ссылке. Просто конкретно в вашем случае таких ссылок, по-видимому, не было, но это не означает, что такая же ситуация у всех.

Какое отношение имеет переход на страницу к запрету ее индексации? ) Роботс запрещает индексацию, а не переход на эту страницу. Ровно так же, как и тег ноиндекс на самой странице и, вот неожиданность, что бы его ПС увидела - ей надо сначала получить страницу )

Антоний Казанский #:

Воевать конечно нет смысла :) есть смысл прислушиваться к коллегам и учитывать их полезный опыт :)

Как практика показывает Гугл инструкции robots может запросто игнорировать, и Яндекс увы тоже варианты /? и /*?* может игнорировать.

Вы так любезны, но я предпочту опираться на свой многолетний опыт, показывающий, что правила роботса игнорируются только тогда, когда он неверно составлен ) Особенно, когда у вас проблема с игнором правила в обеих ПС. 

Не вижу, что еще тут обсуждать, у вас явно иной опыт в данном вопросе.

Vladimir #:
Совет из числа вредных. Но каждый склонен проверить на практике самостоятельно
Замечу лишь, что роботс вас не спасет от большого количества дублей страниц вида /?****
Как интересно, меня на паре десятков сайтов спасает, а вас не спасает.
Антоний Казанский #:
придется разбирать строчку запроса целиком
Нет смысла за это воевать, достаточно дополнительно в роботс поставить запрет на /*?* и все вопросы будут решены. Для ПС этот вариант будет запрещен к индексированию и они отлично с этим справляются, а по факту, за счет правила htaccess, при реальных значениях, будет редирект или 404, как настроить. Тогда пустое значение даже не придется вылавливать, оно будет запрещено к индексации, а сам параметр будет не страшен в виде вхождения, поскольку он, опять же, совершенно пустой.
Антоний Казанский #:
Это можно быть и просто URL адрес с использование знака
В вашем примере "site.ru/?lubaya-posledovatelnost " - это уже параметр. Разница лишь в том, что ему не назначено имя переменной в явном виде, но оно может быть назначено как правилами htaccess, так и вообще разбираться скриптом без имени. Если нужно закрыть параметры за знаком вопроса, то это означает, что движок вовсе не использует GET переменные в явном виде в урл. У меня на моих движках ровно так же, никаких явных ?+, но я просто закрываю это правилом в роботс и не парю себе мозг отдачей кода ошибки на них.
Vladimir #:
Зачем перечислять, все варианты есть в вебмастере. Или сложно понять, что это просто пример?
В моем вебмастере кроме /?go=http://***  , других нет. Будут...добавлю.

Давая советы, нет смысла опираться на то, что есть в вашем вебмастере. Мало кого интересует то, что УЖЕ туда попало, если есть необходимость изначально сделать так, чтобы это туда вообще не попало. Если пользователь спрашивает такие вещи, то очевидно, что ему будет малопонятно, пример вы даете или практическое применение. Да и не одним вордпрессом едины, потому вариантов - полна коробочка.

Vladimir #:
Тем не менее, для таких ?go=http-ссылка , лучше 404
Никакого смысла, поскольку у вас в любом параметре может быть упоминание чужой ссылки. ?go, /go/, ?redirect и т.д.
И это только из тех, что наиболее вероятны. Все не перечислите.
Смотрите в сторону
RewriteCond %{QUERY_STRING}
ну и по отработке на строку запроса - нужное правило на запрет, или на 404, или на редирект, если требуется.

Кстати, 404 я бы не ставил, давно не использую, чтобы не плодить ошибки, на которые тот же вебмастер ругается. Лучше уж 301 тогда на какую-то целевую страницу.
sagamorr #:
Как посмотреть, что боты с IPv6?
Логи сервера или хостинга, больше никак. По крайней мере у меня на сайтах это вторая волна, первая была в конце того года, выключил, где досаждали. В этом году новая - отключил снова там, куда пошли. Метрика их практически не определяет, поведенческие у них близки к обычному пользователю, грамотно боты сделаны.
totamon #:

я просто опасаюсь что раз бот регистратору и хостеру рассылает претензии, может заодно и в суд подает🤔

так и ответил, даже без мата, хотя очень хотелось)) посмотрим умеет ли их бот на письма отвечать

Не знаю как у медиатора, мне отвечали, перепроверив вручную. Правда, толку было мало, бот потом опять присылал )

Всего: 1471