Для Гугла этой строки нет:
Извините. Я понял о чем вы. Но результат в инструменте проверки не меняется (
Эта строка там стояла и стоит. Ее никто для Гугла не убирал.
Потому что "учите матчасть, дети!" С какой такой дозы горилки ты, хлопчик, решил, что у тебя "ссылки закрыты"? Читайте уже документацию, штоле, а не "модных блогиров", что происходит, когда есть less-specific User-agent и User-agent: *
В результате, как и ожидается
Потому что у тебя, чудо, именно для Googlebot создано одно единственное правило
с прямым разрешением "ходи смотри"
1. Для Яндекса эта команда не проблема. Она исправно запрещает к индексации "мусорную страницу".
2. В Инструмент проверки файла robots.txt Гугл вебмастер я убрал Allow: /info/*? , но гугл продолжил считать страницу открытой для индексации.
https://zap-online.ru/robots.txt прошу. С советом по решению ситуации.
Во первых это без разницы. Во вторых, даже так страница доступна.
Все равно не выходит.
От тех кто регистрируется на сайте как магазин и отвечает на объявления, которые тоже оставляются на сайте. Доступ к таким объявления имеют только магазины зарегистрированы на сайте---------- Добавлено 15.03.2020 в 05:50 ----------
Как ловят? Мне надо,чтобы с моего сайта всех переловили.
+VPN и прочее, вообще исключают надежду на идентификацию (((
bruder,
Пару раз ловили. Только репортаж не снимали.
Что даст записанное время?
Спасибо. А если страниц много, что делать?
