Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Подскажите, почему Google видит закрытую в robots.txt ссылку

1 23456
Lazy Badger
На сайте с 14.06.2017
Offline
228
Lazy Badger
#51

Любезный, вы уже откровенно затрахали своей тазоплечевой аномалией

https://searchengines.guru/go?link=https://zap-online.ru/info/comment/reply/83/3606

потому что в https://zap-online.ru/robots.txt я сейчас продолжаю видеть

User-agent: Googlebot

Allow: /info/*?

Crawl-delay: 5

Host: https://zap-online.ru

и пора:

- достать руки из жопы

- вылезть из криокамеры, убрать попутно неработающие уже годы Crawl-delay + Host

и сделать то, что говорят уже 5 страниц все - внести наконец изменения в robots.txt!!! 

Производство жести методом непрерывного отжига
У меня руки кривые У меня руки кривые robots.txt для Яндекса. Маленький
Станислав Романенко
На сайте с 05.09.2007
Offline
325
Станислав Романенко
#52
xaxel3000 #:

Извините. Я понял о чем вы. Но результат в инструменте проверки не меняется (


В строке проверки у вас лишний слеш в начале. Надо вписывать просто:

info/comment/reply/83/3606
Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
1 23456

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий