Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Подскажите, почему Google видит закрытую в robots.txt ссылку

12345 6
xaxel3000
На сайте с 23.07.2011
Offline
97
xaxel3000
540

Здравствуйте.

Такие ссылки как https://zap-online.ru/info/comment/reply/83/3606 закрыты в robots.txt  командой 

Disallow: /info/comment/reply/

Но Google  эти ссылки все равно индексирует и в инструменте проверки robots.txt показывает, что ссылка доступна для индексирования. Почему?

Яндекс эту ссылку не индексирует благодаря все тому же Disallow: /info/comment/reply/



SamCram
На сайте с 16.08.2006
Offline
163
SamCram
#1
Попробуйте так:
Disallow: /info/comment/reply/*
xaxel3000
На сайте с 23.07.2011
Offline
97
xaxel3000
#2
SamCram #:
Попробуйте так:
Disallow: /info/comment/reply/*

Все равно не выходит.

Александр
На сайте с 17.07.2009
Offline
371
Александр
#3
xaxel3000 #:

Все равно не выходит.

Гугл делает так как считает нужным. Всё эти ваши дисалоу и прочая муть для него не указ. Гуглу виднее, и вас он спрашивтать не будет.
Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
Александр
На сайте с 17.07.2009
Offline
371
Александр
#4
xaxel3000 #:
Все равно не выходит.
на скрине ошибка в урле, не нужно домен сувать.
Vladimir SEO
На сайте с 19.10.2011
Online
1707
Vladimir SEO
#5
А весь роботс можно увидеть
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
G6
На сайте с 12.07.2007
Offline
160
garry69
#6
Самый простой вариант, это прочитать ман гугла по этому поводу, ссылка на якорь с описанием проблемы https://support.google.com/webmasters/answer/7440203#indexed_though_blocked_by_robots_txt
Отчеты и инструменты
  • support.google.com
Из этого отчета можно узнать, какие страницы вашего сайта были проиндексированы и какие проблемы были обнаружены при индексировании. Анализ данных отчета В отчете указывается статус индексирования всех URL вашего сайта, по которым перешел или попытался перейти робот Googlebot. На странице сводки вы увидите результаты сканирования всех URL...
vold57
На сайте с 01.10.2007
Offline
261
vold57
#7
xaxel3000 #:
Все равно не выходит.

Не нужно при проверке указывать полный адрес страницы. Впишите только info/comment/reply/83/3606

Аудит сайтов - главная часть это тщательная ручная работа, а не отчеты сервисов и программ (https://vold57.com/audit). Продвижение сайтов (https://vold57.com/seo)
S_E_O Алексей - Строительные ссылки
На сайте с 22.07.2006
Offline
307
S_E_O Алексей - Строительные ссылки
#8
Страница даже закрытая в роботсе, будет доступна роботу, но согласно роботса он принимает решение, индексировать ее или нет. У меня бывает, что даже закрытые в роботсе страницы иногда индексирует, потом выплевывает.
⚡ Размещение ссылок на 50 строительных сайтах без бирж: ⚡пакет №5 ( https://searchengines.guru/ru/forum/977443 )⚡пакет №1 https://searchengines.guru/ru/forum/922181 ⚡ пакет №2 ( https://searchengines.guru/ru/forum/925481 ), и ⚡пакет №3 ( https://searchengines.guru/ru/forum/938528 ) .
Vladimir SEO
На сайте с 19.10.2011
Online
1707
Vladimir SEO
#9
S_E_O #:
Страница даже закрытая в роботсе, будет доступна роботу, но согласно роботса он принимает решение, индексировать ее или нет. У меня бывает, что даже закрытые в роботсе страницы иногда индексирует, потом выплевывает.
у меня постоянно есть небольшой процент закрытых но в индексе - популярные страницы фильтров, которые потом делаю открытыми и снимаю трафик
SeVlad
На сайте с 03.11.2008
Offline
1609
SeVlad
#10
Vladimir SEO #:
А весь роботс можно увидеть

Сразу видно - сеошник 80lvl :)

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
12345 6

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий