Закрыть доступ к ссылка site.ru/?ssilka через htaccess

1 2345 6
Антоний Казанский
На сайте с 12.04.2007
Offline
727
#21
Алеандр #:
Нет смысла за это воевать,

Воевать конечно нет смысла :) есть смысл прислушиваться к коллегам и учитывать их полезный опыт :)


Алеандр #:
достаточно дополнительно в роботс поставить запрет на /*?* и все вопросы будут решены. Для ПС этот вариант будет запрещен к индексированию и они отлично с этим справляются

Увы, недостаточно.

Как практика показывает Гугл инструкции robots может запросто игнорировать, и Яндекс увы тоже варианты /? и /*?* может игнорировать.


Алеандр #:
а по факту, за счет правила htaccess, при реальных значениях, будет редирект или 404, как настроить.

Ну, соб-но, мы это и обсуждаем :)


Алеандр #:
Тогда пустое значение даже не придется вылавливать, оно будет запрещено к индексации, а сам параметр будет не страшен в виде вхождения, поскольку он, опять же, совершенно пустой.

Увы неоднократно сталкивался с ситуаций, когда Яндекс индексировал вариант site.ru/? с копией Главной страницы, при явно запрете обхода в robots-е /?

Поэтому здесь эффективнее действовать через htaccess


Vladimir #:

А смотреть вы должны свой вебмастер, а не мой. И если оно туда попало, то будет долбить не один месяц.
Вы похоже в свой вебмастер совсем не заходите, или первый раз с сайтами работаете? Не похоже по дате...

Естественно не единым вордпрессом. Но дан пример, вы что не в состоянии на его основе сделать под свой сайт?
Или вам, что все на блюдечке с голубой каемочкой?))

Послушайте, что за фанаберия такая? С чего вы взяли, что кто-то должен по вашим наставлениям куда-то смотреть?

Что за высокомерие "вы похоже"? К чему все эти вальяжные гипотезы?

Есть пользовательский вопрос, обсуждается контекст вопроса и ищутся варианты ответа. 

Вы предложили свой - Ok, ваше право. Другие участники форума предлагают свои решения.


Vladimir #:
Тоже сложно пример htacces разобрать?

Мне несложно. Мне ваши примеры под WP не нужны, я даже в них не вникаю, потому что нерелевантные данные мне в настройках не нужны и я пишу нужные мне настройки самостоятельно.  Там где мне надо средиректить лишнее вида site.ru/? и у меня срабатывает редирект на Главную, а также где надо нахрен послать ссылочный спам вида site.ru/?go=http://site.ru срабатывает 403, причём с любым параметром.

В ваших же случаях, которые вы приводили - одно правило совершенно точно будет накладываться на другое, поэтому как минимум они требуют правильной очередности обработки. А второе - не универсально, о чём вам следом сообщили.  

Так что уж если решились помогать - помогайте адресно, в контексте вопроса, а не в контексте личных привычек по своему сайту.


Vladimir #:
Замечу лишь, что роботс вас не спасет от большого количества дублей страниц вида /?****

А вот здесь вы, справедливости ради, надо сказать, правы.


Vladimir #:
Которые будут периодически индексироваться, а потом выкидываться по правилу.

Здесь - нет. Если правилами запрещено, то индексироваться не будет (кроме случаев, когда правила игнорируются).

Поэтому вариантов, что сначала вопреки индексации проиндексировалось, а потом согласно старым правилам удалено из индексации - такого не бывает.

Бывает только в случае, если вы уточняете правила.

Хотя, если вдруг такое произошло, то это аномалия и этот вопрос интересно исследовать. Но в любом случае это нерелевантно общему правилу.


Vladimir #:
Самое главное правило на сайте не роботс, а правило - на сайте не должно быть дублей страниц.

Это понятно. Но иногда дубли возникают не изнутри, а снаружи, когда, например, Яндекс начинает индексировать рекламные страницы по UTM меткам из Директа, которые дублируют оригинальные страницы, поэтому здесь в любом случае идёт доп. настройка через robots.txt   

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
Алеандр
На сайте с 08.12.2010
Offline
200
#22
Vladimir #:
Совет из числа вредных. Но каждый склонен проверить на практике самостоятельно
Замечу лишь, что роботс вас не спасет от большого количества дублей страниц вида /?****
Как интересно, меня на паре десятков сайтов спасает, а вас не спасает.
W1
На сайте с 22.01.2021
Offline
306
#23
Дофига всего понаписали, а про каноникал не забыли? Всё поэффективнее роботса будет. А ещё noindex есть.
Мой форум - https://webinfo.guru –Там я всегда на связи
Алеандр
На сайте с 08.12.2010
Offline
200
#24
Антоний Казанский #:

Воевать конечно нет смысла :) есть смысл прислушиваться к коллегам и учитывать их полезный опыт :)

Как практика показывает Гугл инструкции robots может запросто игнорировать, и Яндекс увы тоже варианты /? и /*?* может игнорировать.

Вы так любезны, но я предпочту опираться на свой многолетний опыт, показывающий, что правила роботса игнорируются только тогда, когда он неверно составлен ) Особенно, когда у вас проблема с игнором правила в обеих ПС. 

Не вижу, что еще тут обсуждать, у вас явно иной опыт в данном вопросе.

W1
На сайте с 22.01.2021
Offline
306
#25
Алеандр #:
я предпочту опираться на свой многолетний опыт, показывающий, что правила роботса игнорируются только тогда, когда он неверно составлен

Нет, не только. Когда висит ссылка на стороннем сайте, то поисковик даже не смотрит в роботс, а сразу переходит по ссылке. Просто конкретно в вашем случае таких ссылок, по-видимому, не было, но это не означает, что такая же ситуация у всех.

Алеандр
На сайте с 08.12.2010
Offline
200
#26
webinfo #:

Нет, не только. Когда висит ссылка на стороннем сайте, то поисковик даже не смотрит в роботс, а сразу переходит по ссылке. Просто конкретно в вашем случае таких ссылок, по-видимому, не было, но это не означает, что такая же ситуация у всех.

Какое отношение имеет переход на страницу к запрету ее индексации? ) Роботс запрещает индексацию, а не переход на эту страницу. Ровно так же, как и тег ноиндекс на самой странице и, вот неожиданность, что бы его ПС увидела - ей надо сначала получить страницу )

Алеандр
На сайте с 08.12.2010
Offline
200
#27
Создалось ощущение, что в обсуждении путают работу правил роботс в плане запрета обхода и индексации. Так я этого и не писал, роботс запрещает индексирование, а не посещение страниц. Конечно же запрета посещения это не дает, но я об этом и не писал, а упоминал о том, что это защищает от индекса и этого, вкупе с остальным - более, чем достаточно.
W1
На сайте с 22.01.2021
Offline
306
#28
Алеандр #:

Какое отношение имеет переход на страницу к запрету ее индексации? ) Роботс запрещает индексацию, а не переход на эту страницу. Ровно так же, как и тег ноиндекс на самой странице и, вот неожиданность, что бы его ПС увидела - ей надо сначала получить страницу )

Вы о чём вообще? Если робот перешёл на страницу, то он может её проиндексировать, для Вас это большая новость? И если, перейдя на страницу, он увидит там noindex, то не станет её индексировать - с этим тоже будете спорить? Ну давайте продолжим эту бесполезную дискуссию, в которой Вы опираетесь исключительно на свой личный опыт, а не на документы поисковых систем. Поэтому и возникают такие фразы:

Алеандр #:
вот неожиданность
Алеандр
На сайте с 08.12.2010
Offline
200
#29
webinfo #:

Вы о чём вообще? Если робот перешёл на страницу, то он может её проиндексировать, для Вас это большая новость? И если, перейдя на страницу, он увидит там noindex, то не станет её индексировать - с этим тоже будете спорить? Ну давайте продолжим эту бесполезную дискуссию, в которой Вы опираетесь исключительно на свой личный опыт, а не на документы поисковых систем. Поэтому и возникают такие фразы:

Вы явно говорите о получении страницы, а не ее размещении в выдаче и индексе. И чтобы увидеть ноиндекс ПС, естественно, забирает страницу для анализа. Ну, почитайте документацию и вы увидите, что роботс - тоже самое, что ноиндекс в теле страницы.

А то, по вашему, роботс сейчас вообще бесполезен окажется )) Мда..

Алеандр
На сайте с 08.12.2010
Offline
200
#30
Еще раз, роботс не запрещает получение страницы, не запрещает сканирование, не запрещает ее анализ. Он запрещает индексирование страницы - это значит, что эта страница не будет размещена в индексе. Аналогично мета-тег  ноиндекс на самой странице. И правила работают ровно так, как они будут написаны. Если нужно запретить даже посещение, то это не про роботс. Но об этом я и не писал.
1 2345 6

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий