Закрыть доступ к ссылка site.ru/?ssilka через htaccess

Алеандр
На сайте с 08.12.2010
Offline
202
#51
Vladimir #:

В каком месте в теме, что Гугл игнорирует роботс? Не замечал на практике
Читать научитесь...внимательно

Попробуйте тоже, тогда вы сможете обратить внимание, что ответ был не на ваш пост.


https://searchengines.guru/ru/forum/1070455/page4#comment_16852301

никто ваш роботс с вашими запретами даже читать не будет
Будет, еще как будет.
Алеандр
На сайте с 08.12.2010
Offline
202
#52
webinfo #:

В моих цитатах ни слова про сервер. Странная у Вас "логика".

Так это у вас гугл умудряется страницы в индекс забирать без их сканирования ) Не у меня.
W1
На сайте с 22.01.2021
Offline
306
#53
Алеандр #:
Будет, еще как будет.

Ладно, будет. Соглашусь. Но страница всё равно может быть проиндексирована. Поскольку директивы файла роботс не запрещают индексирование.

Алеандр #:
Так это у вас гугл умудряется страницы в индекс забирать без их сканирования ) Не у меня.

И у меня, и у вас, и у всех остальных. И в отличие от Вас, я опираюсь не только на свой личный опыт, но и опираюсь на опыт других людей, и, самое главное, на официальную документацию Гугла:
https://developers.google.com/search/docs/crawling-indexing/robots/intro

Если доступ к странице запрещен в файле robots.txt, она все равно может быть проиндексирована по ссылкам с других сайтов.
Google не будет напрямую сканировать и индексировать контент, который заблокирован в файле robots.txt. Однако если на такой URL ссылаются другие сайты, то он все равно может быть найден и добавлен в индекс. После этого страница может появиться в результатах поиска (во многих случаях вместе с текстом ссылки, которая на нее ведет). Если вас это не устраивает, рекомендуем защитить файлы на сервере паролем или использовать директиву  noindex  в метатеге или HTTP-заголовке ответа.

Ноуиндекс рулит.

Мой форум - https://webinfo.guru –Там я всегда на связи
Алеандр
На сайте с 08.12.2010
Offline
202
#54
webinfo #:

Ладно, будет. Соглашусь. Но страница всё равно может быть проиндексирована. Поскольку директивы файла роботс не запрещают индексирование.
Ноуиндекс рулит.

Они сами себе противоречат. С одной стороны они не будут индексировать страницу и ее содержание, с другой стороны они допускают размещение ссылки в выдаче с чужим сниппетом и тайтлом (что логично, ведь они не проиндексируют содержимое напрямую). При этом, у этой страницы, очевидно, нет уже проиндексированного и доступного урл, который бы он вывел как положено.

Если бы эти правила не запрещали индексирование, то при попытке добавить в индекс запрещенную страницу мы бы не получали сообщение:

Запрос на индексирование отклонен

Во время проверки были обнаружены ошибки индексирования URL.

То есть, все же, директивы в роботс на практике запрещают индексирование, независимо от того, что у них написано в помощи. Я же написал выше, можете лично это проверить в консоли. И это будет не написанное в хелпе, а практическое применение. Я ориентируюсь именно на него, а не на теорию.

Но, пусть, согласен, я допускаю такую возможность с его стороны, хотя это один фиг вариант исключения, которое еще попробуй создай: ссылка, которая размещена на очень трастовых сайтах, чтобы повлиять на это решение, с соответствующим контентом на этих чужих сайтах и не имеющая доступного разрешенного урл к индексации содержания страницы.

Во всех остальных, заведомо распространенных случаях, везде используется роботс без каких-либо проблем с индексацией или запретом индексации ненужных страниц или сокрытия дублей. А ноиндекс - вещь хорошая, но на динамических страницах с разными урл и одним содержанием - не практична. Там, где вам вообще нужно исключить попадание страницы в индекс - пароль, как они советуют, или ноиндекс. В обсуждаемом же случае закрытия дублей в виде get параметров - редко применимо и только роботс, в таких ситуациях - главное решение. И никаких проблем с его использованием, ибо, если не считать описанного исключения - все работает как положено и без проблем. Конечно, если не ошибаться в составлении правил роботс.

W1
На сайте с 22.01.2021
Offline
306
#55
Алеандр #:
Я же написал выше, можете лично это проверить в консоли. И это будет не написанное в хелпе, а практическое применение. Я ориентируюсь именно на него, а не на теорию.

При чём ту консоль? И зачем мне это проверять? Я это и так знаю. В консоли не тот контекст, это специальный инструмент для вебмастеров. Это практическое применение консоли, не более того. А индексирование ссылки с чужого сайта - это практика именно индексирования ссылки с чужого сайта, а никакая не теория.

Алеандр #:
ноиндекс - вещь хорошая, но на динамических страницах с разными урл и одним содержанием - не практична.

Чем это не практично? Очень даже практично.

Алеандр #:
В обсуждаемом же случае закрытия дублей в виде get параметров - редко применимо и только роботс, в таких ситуациях - главное решение.

Это всего лишь Ваше личное мнение, основанное на каком-то Вашем личном опыте. Лично я ставлю ноуиндекс и не парюсь, если мне надо надёжно запретить индексацию. Роботс - это для страниц, которые генерируются собственным сайтом и где контент предсказуем. 

Алеандр
На сайте с 08.12.2010
Offline
202
#56
webinfo #:
Это всего лишь Ваше личное мнение, основанное на каком-то Вашем личном опыте. 

И опыте тех, кто с момента внедрения стандарта robots им пользуется, без малого 29 лет.
Но да, нет смысла дальше это обсуждать.

Vladimir
На сайте с 07.06.2004
Offline
593
#57
Алеандр #:

И опыте тех, кто с момента внедрения стандарта robots им пользуется, без малого 29 лет.
Но да, нет смысла дальше это обсуждать.

Так никто вас и не заставляет, если вам это ненужно, и в вашем вебмастере ничего лишнего нет.


webinfo #:
Роботс - это для страниц, которые генерируются собственным сайтом и где контент предсказуем. 

Именно эта фраза для него и непонятна))
Китайцам в базу попадет, тогда сразу поймет🤣

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Антоний Казанский
На сайте с 12.04.2007
Offline
745
#58
Алеандр #:
То есть, все же, директивы в роботс на практике запрещают индексирование, независимо от того, что у них написано в помощи. Я же написал выше, можете лично это проверить в консоли. И это будет не написанное в хелпе, а практическое применение. Я ориентируюсь именно на него, а не на теорию.

Допустим. А как тогда вы, опираясь на свою уверенность и логику, обоснуете вот такой практический случай ?

p.s. Заранее оговорюсь - мне в этом вопросе не нужна помощь или какие-либо рекомендации.

Пример и вопрос именно в контексте запрещения индексации в robots.txt

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий