Подскажите, почему Google видит закрытую в robots.txt ссылку

xaxel3000
На сайте с 23.07.2011
Offline
97
527

Здравствуйте.

Такие ссылки как https://zap-online.ru/info/comment/reply/83/3606 закрыты в robots.txt  командой 

Disallow: /info/comment/reply/

Но Google  эти ссылки все равно индексирует и в инструменте проверки robots.txt показывает, что ссылка доступна для индексирования. Почему?

Яндекс эту ссылку не индексирует благодаря все тому же Disallow: /info/comment/reply/



SamCram
На сайте с 16.08.2006
Offline
143
#1
Попробуйте так:
Disallow: /info/comment/reply/*
xaxel3000
На сайте с 23.07.2011
Offline
97
#2
SamCram #:
Попробуйте так:
Disallow: /info/comment/reply/*

Все равно не выходит.

Александр
На сайте с 17.07.2009
Offline
371
#3
xaxel3000 #:

Все равно не выходит.

Гугл делает так как считает нужным. Всё эти ваши дисалоу и прочая муть для него не указ. Гуглу виднее, и вас он спрашивтать не будет.
Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
Александр
На сайте с 17.07.2009
Offline
371
#4
xaxel3000 #:
Все равно не выходит.
на скрине ошибка в урле, не нужно домен сувать.
Vladimir SEO
На сайте с 19.10.2011
Offline
1482
#5
А весь роботс можно увидеть
ᐈ Накрутка ПФ в Яндексе - 200р за 1 запрос! Бесплатный Тест! https://t.me/Enot2292 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/ Ссылки под бурж и СНГ https://prposting.com/ru/ref/A5DAJln4
G6
На сайте с 12.07.2007
Offline
139
#6
Самый простой вариант, это прочитать ман гугла по этому поводу, ссылка на якорь с описанием проблемы https://support.google.com/webmasters/answer/7440203#indexed_though_blocked_by_robots_txt
Отчеты и инструменты
  • support.google.com
Из этого отчета можно узнать, какие страницы вашего сайта были проиндексированы и какие проблемы были обнаружены при индексировании. Анализ данных отчета В отчете указывается статус индексирования всех URL вашего сайта, по которым перешел или попытался перейти робот Googlebot. На странице сводки вы увидите результаты сканирования всех URL...
vold57
На сайте с 01.10.2007
Offline
247
#7
xaxel3000 #:
Все равно не выходит.

Не нужно при проверке указывать полный адрес страницы. Впишите только info/comment/reply/83/3606

Очень дружелюбный SEO форум ( https://webdistrict.pro/ ) SEO услуги от vold57 ( http://vold57.com/ )
S_E_O Алексей - Строительные ссылки
На сайте с 22.07.2006
Offline
279
Страница даже закрытая в роботсе, будет доступна роботу, но согласно роботса он принимает решение, индексировать ее или нет. У меня бывает, что даже закрытые в роботсе страницы иногда индексирует, потом выплевывает.
⚡ Размещение ссылок на 60 строительных сайтах без бирж: ⚡пакет №5 ( https://searchengines.guru/ru/forum/977443 )⚡пакет №1 https://searchengines.guru/ru/forum/922181 ⚡ пакет №2 ( https://searchengines.guru/ru/forum/925481 ), и ⚡пакет №3 ( https://searchengines.guru/ru/forum/938528 ) .
Vladimir SEO
На сайте с 19.10.2011
Offline
1482
#9
S_E_O #:
Страница даже закрытая в роботсе, будет доступна роботу, но согласно роботса он принимает решение, индексировать ее или нет. У меня бывает, что даже закрытые в роботсе страницы иногда индексирует, потом выплевывает.
у меня постоянно есть небольшой процент закрытых но в индексе - популярные страницы фильтров, которые потом делаю открытыми и снимаю трафик
SeVlad
На сайте с 03.11.2008
Offline
1528
#10
Vladimir SEO #:
А весь роботс можно увидеть

Сразу видно - сеошник 80lvl :)

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий