Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Индексация гуглом и настройка robots.txt

Unlock
На сайте с 01.08.2004
Offline
757
Unlock
815

Есть такой robots.txt 

User-agent: Yandex

Disallow: /faq/

Disallow: /how/

Disallow: /security/

Disallow: /faq/doc.pdf



User-agent: Googlebot

Disallow: /oferta/no.pdf

Disallow: /faq/doc.pdf

Для гугла не закрыта индексация страницы https://domen.ru/faq/ но по факту именно так и выходит: Описание недоступно из-за ограничений в файле robots.txt.

Что в robots.txt некорректно сделано? Или глюк у Гугла?

Есть желание, - тысяча способов; нет желания, - тысяча поводов! /Петр-I/.
Unlock
На сайте с 01.08.2004
Offline
757
Unlock
#1

Никто не знает? :( Казалось, что вопрос простой, в чём то очевидном у меня ошибка.

Станислав Романенко
На сайте с 05.09.2007
Offline
325
Станислав Романенко
#2

Нет ли случаем на странице /faq/ чего-нибудь такого?

<meta name="robots" content="noindex" />

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
Unlock
На сайте с 01.08.2004
Offline
757
Unlock
#3

Есть <meta name="robots" content="index, follow"/>

Но фишка в том, что Гугл пишет:

Описание недоступно из-за ограничений в файле robots.txt

Т.е. именно в robots.txt увидел запрет... Может его глючит и он запрет для Яндекса воспринимает и на свой счет?

angel57
На сайте с 01.04.2014
Offline
155
angel57
#4

Может раньше было закрыто и он не успел переобойти? На переиндексацию в вкбмастере подавали страницу?

Unlock
На сайте с 01.08.2004
Offline
757
Unlock
#5

Решилась проблема. Глюк у Гугла был.

PF
На сайте с 08.09.2016
Offline
3
PuncherFlick
#6
Unlock:
Решилась проблема. Глюк у Гугла был.

Весёлый глюк! 😂

Заработок на вводе капчи тут (https://goo.gl/cpEkry). 30 рублей в час вполне стабильно.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий