Подскажите, почему Google видит закрытую в robots.txt ссылку

xaxel3000
На сайте с 23.07.2011
Offline
97
505

Здравствуйте.

Такие ссылки как https://zap-online.ru/info/comment/reply/83/3606 закрыты в robots.txt  командой 

Disallow: /info/comment/reply/

Но Google  эти ссылки все равно индексирует и в инструменте проверки robots.txt показывает, что ссылка доступна для индексирования. Почему?

Яндекс эту ссылку не индексирует благодаря все тому же Disallow: /info/comment/reply/



SamCram
На сайте с 16.08.2006
Offline
144
#1
Попробуйте так:
Disallow: /info/comment/reply/*
xaxel3000
На сайте с 23.07.2011
Offline
97
#2
SamCram #:
Попробуйте так:
Disallow: /info/comment/reply/*

Все равно не выходит.

Александр
На сайте с 17.07.2009
Offline
371
#3
xaxel3000 #:

Все равно не выходит.

Гугл делает так как считает нужным. Всё эти ваши дисалоу и прочая муть для него не указ. Гуглу виднее, и вас он спрашивтать не будет.
Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
Александр
На сайте с 17.07.2009
Offline
371
#4
xaxel3000 #:
Все равно не выходит.
на скрине ошибка в урле, не нужно домен сувать.
Vladimir SEO
На сайте с 19.10.2011
Offline
1356
#5
А весь роботс можно увидеть
ᐈ Лучшая проверка позиций http://allpositions.ru/redirect/10965 ᐈПродвижение коммерческих сайтов https://kulinenko.com/
G6
На сайте с 12.07.2007
Online
133
#6
Самый простой вариант, это прочитать ман гугла по этому поводу, ссылка на якорь с описанием проблемы https://support.google.com/webmasters/answer/7440203#indexed_though_blocked_by_robots_txt
Отчеты и инструменты
  • support.google.com
Из этого отчета можно узнать, какие страницы вашего сайта были проиндексированы и какие проблемы были обнаружены при индексировании. Анализ данных отчета В отчете указывается статус индексирования всех URL вашего сайта, по которым перешел или попытался перейти робот Googlebot. На странице сводки вы увидите результаты сканирования всех URL...
vold57
На сайте с 01.10.2007
Offline
241
#7
xaxel3000 #:
Все равно не выходит.

Не нужно при проверке указывать полный адрес страницы. Впишите только info/comment/reply/83/3606

Очень дружелюбный SEO форум ( https://webdistrict.pro/ ) SEO услуги от vold57 ( http://vold57.com/ )
S_E_O
На сайте с 22.07.2006
Offline
249
#8
Страница даже закрытая в роботсе, будет доступна роботу, но согласно роботса он принимает решение, индексировать ее или нет. У меня бывает, что даже закрытые в роботсе страницы иногда индексирует, потом выплевывает.
█ ⭐ █ Размещение ссылок на 60 строительных сайтах без бирж: ⭐пакет №1 https://searchengines.guru/ru/forum/922181 ⭐ пакет №2 ( https://searchengines.guru/ru/forum/925481 ), ⭐пакет №3 ( https://searchengines.guru/ru/forum/938528 ), и ⭐пакет №5 ( https://searchengines.guru/ru/forum/977443 ) . ICQ 419-016-753
Vladimir SEO
На сайте с 19.10.2011
Offline
1356
#9
S_E_O #:
Страница даже закрытая в роботсе, будет доступна роботу, но согласно роботса он принимает решение, индексировать ее или нет. У меня бывает, что даже закрытые в роботсе страницы иногда индексирует, потом выплевывает.
у меня постоянно есть небольшой процент закрытых но в индексе - популярные страницы фильтров, которые потом делаю открытыми и снимаю трафик
SeVlad
На сайте с 03.11.2008
Offline
1520
#10
Vladimir SEO #:
А весь роботс можно увидеть

Сразу видно - сеошник 80lvl :)

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Топики помощи с ⓌordPress (https://searchengines.guru/ru/forum/1032910 ) и основы безопасности сайтов ( https://searchengines.guru/ru/forum/774117 ). *** Помощь\консультации в топиках форума - БЕСПЛАТНО. Платные услуги ( https://wp.me/P3YHjQ-3 ) - с бюджетом от 150$ ***

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий