robots.txt

12
minsky
На сайте с 01.09.2012
Offline
161
570
Продвигаю сайты ссылками, ускоряю индексацию сайтов и отдельных страниц ( https://kwork.ru/user/minsky?ref=23382 )
ZEEW
На сайте с 03.06.2018
Offline
63
#1

Прописать лишним не будет

Антоний Казанский
На сайте с 12.04.2007
Offline
618
#2
minsky :
Достаточно будет прописать Disallow: /*?*

Формально - да, но применённую инструкцию всегда важно проверять,

Но сам Яндекс не рекомендует использовать Disallow для устранения дублей с get параметрами, для этого рекомендуется использовать директиву clean-param. 

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Обучение автоматизации с помощью Zennoposter https://goo-gl.me/6Zypu
Kaavain
На сайте с 28.07.2015
Offline
133
#3
Антоний Казанский #:
для этого рекомендуется использовать директиву clean-param. 
...которую криворукие программисты яндекса превратили в смертельный яд (для сайтов, где есть значимые УРЛы с параметрами). И гады из яндекса даже не извинились. Лично я этой директивой никгода более пользоваться не буду (как, впрочем, и всем, что выродил этот монстр под названием яндекс).
Могу порекомендовать только хостинг: https://traf.at/vps - за 3 года все на 4++ и цены не подняли. Ну и банк для белых ИП: https://traf.at/bankm
Александр
На сайте с 18.03.2020
Offline
144
#4
minsky :

Достаточно будет прописать Disallow: /*?*

или как?

Яндекс так и будет кошмарить.

Ему плевать на свои же рекомендации для вебмастеров.
Я с ними бодался больше полугода по вопросу дублей пагинации.

Остальные каноникалы, клин парамы - им плевать.

minsky
На сайте с 01.09.2012
Offline
161
#5
Проверил разрешение Disallow: /*?* , все гуд, закрыто. С clean-param не буду заморачиваться)
minsky
На сайте с 01.09.2012
Offline
161
#6
Александр #:

Яндекс так и будет кошмарить.

Ему плевать на свои же рекомендации для вебмастеров.
Я с ними бодался больше полугода по вопросу дублей пагинации.

Остальные каноникалы, клин парамы - им плевать.

Яндексу не плевать на robots.txt, уже проверено ни на одном сайте. А вот гуглу действительно плевать)))

vashfreelancer
На сайте с 24.10.2023
Offline
27
#7

Я бы дополнительно заблокировал страницы для посещения или всем или чисто сети Яндекса через .htaccess или Cloudflare. Ниже пример Cloudflare.

Вот как для всех:

(http.request.uri contains ".html?mr:referralID") or (http.request.uri contains ".html?tag=aff") or (http.request.uri contains ".html?Selected") or (http.request.uri contains ".html?authToke")

Это только пример. AS сеть яндекса:   13238

Проверьте что нужные страницы под это правило не попадают. Примерно так я запрещал Я.ботам посещать то что им не нужно.

Защита сайта от ботов - накрутки ПФ, роботность, DDoS, Cloudflare ДДос - https://vashfreelancer.com
Антоний Казанский
На сайте с 12.04.2007
Offline
618
#8
minsky #:
Проверил разрешение Disallow: /*?* , все гуд, закрыто. С clean-param не буду заморачиваться)

Ваше право, я тоже в отдельных случаях закрываю полностью, когда надоедает перечислять вложенные get параметры.

minsky
На сайте с 01.09.2012
Offline
161
#9
vashfreelancer #:

Я бы дополнительно заблокировал страницы для посещения или всем или чисто сети Яндекса через .htaccess или Cloudflare. Ниже пример Cloudflare.

Вот как для всех:

(http.request.uri contains ".html?mr:referralID") or (http.request.uri contains ".html?tag=aff") or (http.request.uri contains ".html?Selected") or (http.request.uri contains ".html?authToke")

Это только пример. AS сеть яндекса:   13238

Проверьте что нужные страницы под это правило не попадают. Примерно так я запрещал Я.ботам посещать то что им не нужно.

Спасибо, буду иметь в виду, пока что этого хватит, все равно зеркало на безабузном делать, как только в топ попал, полетели абузы хостеру и регистратору домена((( Нахрен могут вообще акк заблокировать на хостинге, на timeweb так уже было пару лет назад)
GRAFLEKX
На сайте с 05.11.2010
Offline
200
#10

О блин... я только сейчас понял настоящий смысл этого топика, когда по ссылкам перешел.

Не, здесь не Хабр, такого эффекта не будет ))

Мы поможем в поиске работы: стабильная работа для вас ( https://www.rabota.ru ), вакансии и резюме.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий