Закрыть доступ к ссылка site.ru/?ssilka через htaccess

Vladimir
На сайте с 07.06.2004
Offline
530
#41
Алеандр #:

Ну, то есть ответа на вопрос вы дать не можете, верно?
Вы каким образом предполагаете попадание страницы в индекс, если у нее стоит запрет на сканирование?

Вы читать умеете?
Вначале он ее индексирует, дублирует основную
А потом выкидывает по правилу роботс!

Т.е делает все наоборот, вначале индексация, а потом правило
Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Vladimir
На сайте с 07.06.2004
Offline
530
#42
webinfo #:

Ну файл хэдера же инклудится для всех страниц. И в нём прописываем условие: если есть параметр, то ноуиндекс.

Кстати тема была: Рекламы нет, а utm метки есть с яндекса
Так вот они действительно есть = факт
Т.е разрешение и запрет на индексирование по utm метке, должен быть на сайте по умолчанию
W1
На сайте с 22.01.2021
Offline
283
#43
Vladimir #:
индексирование по utm метке

Я, кстати, где-то выше написал, что это ТС думает, что ему не нужны гет-параметры. А потом выяснится, что они нужны.
У меня буквально пару месяцев назад была ситуация: тот, кто когда-то делал сайт, поставил запрет на доступ к страницам с гет-параметром. А мой клиент вдруг решил провести рекламную компанию - и о ужас, ссылки не открываются! Обратились ко мне, чтобы я всё переделал.

Мой форум - https://webinfo.guru –Там я всегда на связи
Алеандр
На сайте с 08.12.2010
Offline
183
#44
webinfo #:

Я дал ответ выше. Повторять не собираюсь. Читайте и осмысливайте, там всё ясно написано. Если ссылка размещена на стороннем ресурсе, то никто ваш роботс с вашими запретами даже читать не будет. Хоть пять раз болдом выделяйте, ничего от этого не изменится.

И да, в том, что я "накопипастил", как Вы изволили выразиться (хотя на самом деле я процитировал, а не "накопипастил"), гугл написал как раз противоположное тому, что написали Вы. Или Вам красным цветом выделить, чтобы понятнее было?

В тексте идет речь о том, что для того, чтобы проиндексировать страницу - ее нужно просканировать. По вашему, гугл через воздух получает текст страницы или, он все же, ее сначала должен отсканировать? Должен придти бот, зайти на сервер, получить страницу? И, даже если делать запрос страницы из сервиса гугла, то он сначала идет получает роботс, а уже потом идет за страницей. Тоже самое он делает и на каждую серию индексации. Это прекрасно видно в логах. В логи давно заглядывали? Гуглу совершенно наплевать откуда он узнал о ссылке: на сайте, на чужом сайте, из сайтмапа, плевать он хотел. Получать страницу без посещения сервера он пока еще не научился.

Делаем элементарно, идем в гугл консоль, вбиваем страницу, которая у вас запрещена на сайте к индексированию в роботс, и предлагаем ему ее добавить в индекс вручную. На что получаем замечательную плашку с ответом:

Запрос на индексирование отклонен
Во время проверки были обнаружены ошибки индексирования URL.


Только что сходил, проверил. Можете тоже пойти проверить, понаблюдать. Потом, можете еще сто раз написать о том, как гугл игнорирует роботс )

Алеандр
На сайте с 08.12.2010
Offline
183
#45
Vladimir #:
Т.е разрешение и запрет на индексирование по utm метке, должен быть на сайте по умолчанию

Собственно, не по метке, а по всем параметрам, которые не используются на сайте. Это с самого начала и талдычу так то. Вы офигеете угадывать какие параметры окажутся для вас лишними и какие левые ссылки на вас понаставят пользователи. Это априори простейшее: запретить ВСЁ и разрешить нужное. Об этом уже 5ю страницу речь и ведется.

W1
На сайте с 22.01.2021
Offline
283
#46
Алеандр #:
Получать страницу без посещения сервера он пока еще не научился.

И что? Кто-то считает иначе? Зачем Вы мне это пишете?

Алеандр
На сайте с 08.12.2010
Offline
183
#47
webinfo #:

Я, кстати, где-то выше написал, что это ТС думает, что ему не нужны гет-параметры. А потом выяснится, что они нужны.

Не выяснится ) Поскольку я точно знаю какие параметры урл мне необходимы, какие нет и как работать с этим всем. Именно потому у меня нет проблем ни с дублями, ни с параметрами, ни с чем-то еще. Только я прописываю все нужное сразу, еще до запуска сайта, чтобы потом не бегать с паникой, ища какой параметр забыли открыть-закрыть и как теперь исправить то, что уже в индексе.
Алеандр
На сайте с 08.12.2010
Offline
183
#48
webinfo #:

И что? Кто-то считает иначе? Зачем Вы мне это пишете?

Наверное потому, что в ваших цитатах именно об этом и речь: гугл принимает роботс как правила, по которым ему указывается, какие страницы запрещено сканировать, а не отсканировав, он их ну никак не проиндексирует. Л - логика.

Пример дал выше, попробуйте в консоли гугла добавить вручную индексацию страницы, которая в роботс на этом сайте запрещена. Тогда вернемся к вопросу, что гугл игнорирует роботс.

Vladimir
На сайте с 07.06.2004
Offline
530
#49

Алеандр #:

Тогда вернемся к вопросу, что гугл игнорирует роботс.

В каком месте в теме, что Гугл игнорирует роботс? Не замечал на практике

Читать научитесь...внимательно

W1
На сайте с 22.01.2021
Offline
283
#50
Алеандр #:
Не выяснится ) Поскольку я точно знаю какие параметры урл мне необходимы

А Вы и не ТС.

Алеандр #:
Наверное потому, что в ваших цитатах именно об этом и речь: гугл принимает роботс как правила, по которым ему указывается, какие страницы запрещено сканировать, а не отсканировав, он их ну никак не проиндексирует. Л - логика.

В моих цитатах ни слова про сервер. Странная у Вас "логика".

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий