"Описание веб-страницы недоступно из-за ограничений в файле robots.txt"

12
V2
На сайте с 18.08.2011
Offline
137
1835

Всем здравия.

Гугл индексируется, спустя время (пару дней) выплевывает страницы, в серпе появляется "Описание веб-страницы недоступно из-за ограничений в файле robots.txt.". В роботсе все норм, постоянно добавляю страницы через submit-url, в течение нескольких минут глотает и через пару дней выплевывает. И по новой - снова индексируется и снова выплевывает через несколько дней. Прокручивал раз 5.

User-agent: *
Disallow:

Host: site.ru

Проект молодой.

Что можно сделать?

R
На сайте с 28.03.2010
Offline
95
#1

Так Disallow: - это же запретить.

Разрешить - Allow:

.
altezzik
На сайте с 06.11.2011
Offline
247
#2
rrrichard:
Так Disallow: - это же запретить.

Так он же указал пустую директиву.

TES
На сайте с 22.07.2007
Offline
597
TES
#3

Это глюк гугла, сталкивался, но прошло само.

D.iK.iJ
На сайте с 26.05.2013
Offline
228
#4

А я суеверный. Никогда не оставляю пустой Disallow, всегда вписываю что-то типа Disallow: /admin/

Адаптивный дизайн в 2 строчки ( https://dikij.com/wm/adaptaciya-saytov.php ). + Принимаю заказы любой сложности ( https://searchengines.guru/ru/forum/926323 ). 💎 Еще я делаю классные кулоны с опалами ( https://mosaicopal.ru/ ).
V2
На сайте с 18.08.2011
Offline
137
#5

DiKiJ, а если нечего описывать? Чистый самопис без дублей.

vaiki
На сайте с 07.11.2008
Offline
87
#6

У меня была подобная проблема в течение первых 2-х недель жизни сайта. Потом все пришло в норму само собой. Сколько времени прошло у вас?

СайтАнализ (http://seoaudit.report): индивидуальный подход к SEO-аудиту.
E
На сайте с 21.09.2009
Offline
283
#7
vilisan2:
а если нечего описывать? Чистый самопис без дублей.

как это ничего не писать? а минимум сайтмап и хост для яши тоже не нужен???

fest1val
На сайте с 18.06.2013
Offline
69
#8
vilisan2:
Что можно сделать?

Убери "Disallow:" Понимаю что значение пустое но все таки, ты не должен быть использовать опцию.

Хочется что-то прописать , пропиши лучше Allow: /

А вообще разрешение не нужно писать - он и так скушает если посчитает нужным.

Может быть у тебя двиг/модуль балуется с роботс?

По поводу того что пишут, мол глюк гугла - не замечал, думаю у людей просто CMS или плагин чудит что-то.

Хотя бывают же такие ошибки, и гугла и у яндекса, которые несут именно временный характер.

Хостинг 25$/год 1GB SSD UA GR FR USA Umlim uptime 100% ApchLogs (http://www.ukraine.com.ua/?page=22784)
V2
На сайте с 18.08.2011
Offline
137
#9

vaiki, пару недель.

easywind, дык это есть :)

fest1val, прописал Allow, посмотрим.

Всем спасибо, будем смотреть дальше.

E
На сайте с 21.09.2009
Offline
283
#10

vilisan2, самое простое, если выплевывает посмотреть, нет ли метатега ноиндекс. Это одна из самых распространенных ошибок :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий