Потому что "учите матчасть, дети!" С какой такой дозы горилки ты, хлопчик, решил, что у тебя "ссылки закрыты"? Читайте уже документацию, штоле, а не "модных блогиров", что происходит, когда есть less-specific User-agent иUser-agent: *
В результате, как и ожидается
Потому что у тебя, чудо, именно для Googlebot создано одно единственное правило
с прямым разрешением "ходи смотри"
1. Для Яндекса эта команда не проблема. Она исправно запрещает к индексации "мусорную страницу".
2. В Инструмент проверки файла robots.txt Гугл вебмастер я убрал Allow: /info/*? , но гугл продолжил считать страницу открытой для индексации.
SocFishing: У вас доска объявлений и вы пытаетесь бороться с мошенниками в ней? Угроза больше от тех кто публикует или от тех кто ищет контакты и делает разводку?
От тех кто регистрируется на сайте как магазин и отвечает на объявления, которые тоже оставляются на сайте. Доступ к таким объявления имеют только магазины зарегистрированы на сайте
---------- Добавлено 15.03.2020 в 05:50 ----------
sema_87: ой да конечно, если даже с тора ловят
Как ловят? Мне надо,чтобы с моего сайта всех переловили.
Для Гугла этой строки нет:
Извините. Я понял о чем вы. Но результат в инструменте проверки не меняется (
Disallow: /info/comment/reply/
Эта строка там стояла и стоит. Ее никто для Гугла не убирал.
Потому что "учите матчасть, дети!" С какой такой дозы горилки ты, хлопчик, решил, что у тебя "ссылки закрыты"? Читайте уже документацию, штоле, а не "модных блогиров", что происходит, когда есть less-specific User-agent и User-agent: *
В результате, как и ожидается
Потому что у тебя, чудо, именно для Googlebot создано одно единственное правило
с прямым разрешением "ходи смотри"
1. Для Яндекса эта команда не проблема. Она исправно запрещает к индексации "мусорную страницу".
2. В Инструмент проверки файла robots.txt Гугл вебмастер я убрал Allow: /info/*? , но гугл продолжил считать страницу открытой для индексации.
не впадло - а вот на сайты я перехожу редко, только если попросят
https://zap-online.ru/robots.txt прошу. С советом по решению ситуации.
info/comment/reply/83/3606
Во первых это без разницы. Во вторых, даже так страница доступна.
Попробуйте так:
Disallow: /info/comment/reply/*
Все равно не выходит.
У вас доска объявлений и вы пытаетесь бороться с мошенниками в ней? Угроза больше от тех кто публикует или от тех кто ищет контакты и делает разводку?
От тех кто регистрируется на сайте как магазин и отвечает на объявления, которые тоже оставляются на сайте. Доступ к таким объявления имеют только магазины зарегистрированы на сайте
---------- Добавлено 15.03.2020 в 05:50 ----------
ой да конечно, если даже с тора ловят
Как ловят? Мне надо,чтобы с моего сайта всех переловили.
IP не номер паспорта, он меняться может.
+VPN и прочее, вообще исключают надежду на идентификацию (((
bruder,
Пару раз ловили. Только репортаж не снимали.
Что даст записанное время?
Не правильно. Если понятно, на какую правильную страницу отправить посетителя, то сделайте 301 редирект.
Спасибо. А если страниц много, что делать?