Закрыть доступ к ссылка site.ru/?ssilka через htaccess

1 2345 6
W1
На сайте с 22.01.2021
Offline
286
#31
Алеандр #:

Ну, почитайте документацию и вы увидите, что роботс - тоже самое, что ноиндекс в теле страницы.

Твою же душу, как всё запущено... Ну почитайте:
https://developers.google.com/search/docs/crawling-indexing/robots/intro

Файл robots.txt не предназначен для того, чтобы запрещать показ ваших материалов в результатах поиска Google. Если вы не хотите, чтобы какие-либо страницы с вашего сайта были представлены в Google, добавьте на них директиву noindex

Алеандр #:
Еще раз, роботс не запрещает получение страницы, не запрещает сканирование, не запрещает ее анализ. Он запрещает индексирование страницы

Ужосс... Почитайте ещё:
https://support.google.com/webmasters/answer/12818275?hl=ru

Файл robots.txt предназначен только для того, чтобы запретить сканирование тех или иных страниц. Если вам нужно предотвратить появление страницы или изображения в результатах поиска, используйте другие средства.

Мой форум - https://webinfo.guru –Там я всегда на связи
Vladimir
На сайте с 07.06.2004
Offline
531
#32
Алеандр #:
 это значит, что эта страница не будет размещена в индексе.

Если вы не сталкивались, то это не значит, что такого не бывает
- Размещает в индексе. Размещает в поиске
- Несмотря на каноникал, и правило роботса, выкидывает страницу из индекса, обьявляя ее копией
- Потом, ой  у вас правило каноникал, ой тут правило роботс, страницу из индекса выкидываем

И если у вас была хорошая страница в топе, то ее у вас там уже нет. И возможно не будет

Самое лучшее правило, не плодить дубли, в том числе и навязываемые извне.


Антоний Казанский #:Это понятно. Но иногда дубли возникают не изнутри, а снаружи, когда, например, Яндекс начинает индексировать рекламные страницы по UTM меткам из Директа, которые дублируют оригинальные страницы, поэтому здесь в любом случае идёт доп. настройка через robots.txt   

Это естественно ибо только robots.tx, больше нечем

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
W1
На сайте с 22.01.2021
Offline
286
#33
Vladimir #:
больше нечем

Ноуиндекс же. Разместить в хэдере при условии наличия гет-параметра - и всё, вопрос решён.

Vladimir
На сайте с 07.06.2004
Offline
531
#34
webinfo #:

Ноуиндекс же. Разместить в хэдере при условии наличия гет-параметра - и всё, вопрос решён.

Возможно. Тогда правило будет на самой странице, надо добавить проверку🙏

Кстати, именно дубли возникающие  снаружи индексирует, не глядя на правила в роботс
Алеандр
На сайте с 08.12.2010
Offline
183
#35
webinfo #:

Твою же душу, как всё запущено... Ну почитайте:

А теперь почитайте то, что про это пишет Яндекс:
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html

Robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.
Как правило, после установки запрета на индексирование каким-либо способом исключение страниц из поиска происходит в течение двух недель.

Для гугла это еще более жесткие условия, по которым он НЕ будет даже сканировать страницу, что не исключает то, что она при этом, само собой, и в индекс не попадет. Ибо без сканирования страница в индекс попасть ну никак не сможет. Вы каким образом предполагаете попадание страницы в индекс, если у нее стоит запрет на сканирование?

В гугле то, что вы скопипастили, касается именно части из Яндекса: "исключение страниц из поиска происходит в течение двух недель". Гугл не будет выкидывать из индекса, если вы прописали роботс после того, как он просканировал. Яндекс же - выкинет, если увидит обновленный роботс, по крайней мере должен. Но первоначально, если у вас стоит запрет на индексирование в роботс - то ни в гугле, ни в яндексе страница не попадет в индекс. В гугле она не будет даже просканирована, а я яндексе будет просканирована, но не проиндексирована.

Так что же, извините, ваши ссылки подтверждают? Именно то, что я и говорю  - все прекрасно блокируется в роботс. Речь о том, как удалить из индекса - даже не заводилась, она вне контекста обсуждения. Прочтите сами то, что накопипастили и попробуйте вникнуть в то, что там написано.

W1
На сайте с 22.01.2021
Offline
286
#36
Vladimir #:
правило будет на самой странице, надо добавить проверку

Ну файл хэдера же инклудится для всех страниц. И в нём прописываем условие: если есть параметр, то ноуиндекс.

Vladimir
На сайте с 07.06.2004
Offline
531
#37
webinfo #:

Ну файл хэдера же инклудится для всех страниц. И в нём прописываем условие: если есть параметр, то ноуиндекс.

Да я понял🙏


Алеандр #:
Вы каким образом предполагаете попадание страницы в индекс, если у нее стоит запрет на сканирование?

Давайте топовую страницу, попробую на практике вам показать, как это элементарно Яндекс делает
Но, если вы прочитали пост выше: предупреждение Яндекс основную страницу выкинет из поиска и из индекса, как дубль.
Об этом вам черным по белому известит в вебмастере

W1
На сайте с 22.01.2021
Offline
286
#38
Алеандр #:
Так что же, извините, ваши ссылки подтверждают? Именно то, что я и говорю

Всё, нафиг. Тот, кто умеет читать - прочитал. Я написал не только для Вас. А с Вами дальше дискутировать не собираюсь, ибо бесполезно, судя по всему.

Алеандр
На сайте с 08.12.2010
Offline
183
#39
webinfo #:

Всё, нафиг. Тот, кто умеет читать - прочитал. Я написал не только для Вас. А с Вами дальше дискутировать не собираюсь, ибо бесполезно, судя по всему.

Ну, то есть ответа на вопрос вы дать не можете, верно?
Вы каким образом предполагаете попадание страницы в индекс, если у нее стоит запрет на сканирование?

W1
На сайте с 22.01.2021
Offline
286
#40
Алеандр #:

Ну, то есть ответа на вопрос вы дать не можете, верно?
Вы каким образом предполагаете попадание страницы в индекс, если у нее стоит запрет на сканирование?

Я дал ответ выше. Повторять не собираюсь. Читайте и осмысливайте, там всё ясно написано. Если ссылка размещена на стороннем ресурсе, то никто ваш роботс с вашими запретами даже читать не будет. Хоть пять раз болдом выделяйте, ничего от этого не изменится.

И да, в том, что я "накопипастил", как Вы изволили выразиться (хотя на самом деле я процитировал, а не "накопипастил"), гугл написал как раз противоположное тому, что написали Вы. Или Вам красным цветом выделить, чтобы понятнее было?

1 2345 6

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий