Лаборатория гугл - предпросмотр страниц - вечные ошибки, запрет robots.txt

12
logicface
На сайте с 24.03.2014
Offline
10
1451

Всем доброго времени суток. Есть такая проблема, очень странная проблема. В инструментах дял веб мастеров есть лаборатория, а в ней предпросмотр страниц. Так вот, любая страница иногда успешно, иногда нет проходит осмотр. Но в любом случае, при детальном осмотре в низу будет написанно:

Ошибок при получении ресурсов: *число*

В этих ошибках всегда фигурируют ссылки на яндекс метрику, рейтинг опенстат, на шрифты, которые загружаются из гугл фонтс. И везде в подробной информации написанно - заблокираванно в robots.txt

Как такое может быть, если в robots.txt у меня только:

User-agent: Yandex

Disallow: /webstat/

Disallow: /cgi-bin/

User-agent: Googlebot

Disallow: /webstat/

Disallow: /cgi-bin/

User-agent: *

Disallow: /webstat/

Disallow: /cgi-bin/

E
На сайте с 21.09.2009
Offline
283
#1

logicface, проверте в тех же инструментах вбив строки. Предпросмотр действительно, не выводит части которые в роботс закрыты.

logicface
На сайте с 24.03.2014
Offline
10
#2
easywind:
logicface, проверте в тех же инструментах вбив строки. Предпросмотр действительно, не выводит части которые в роботс закрыты.

Что за вбив строки? Так у меня вроде все части в роботс.тхт открыты.

Вот он например пишет что это:

http://mc.yandex.ru/metrika/watch.js

Закрыто в роботс.тхт, но в роботсе ничего относящегося к этому и в помине нету.=)

E
На сайте с 21.09.2009
Offline
283
#3
logicface:
Что за вбив строки?

ВМТ-сайт-сканирование-заблокированые урл. Внизу в окошке можно вставить урл страницы сайта, и нажать проверить. Покажет по какой строке закрыто. И посмотрите, что именно в роботс прописано в инструментах.

logicface
На сайте с 24.03.2014
Offline
10
#4
easywind:
ВМТ-сайт-сканирование-заблокированые урл. Внизу в окошке можно вставить урл страницы сайта, и нажать проверить. Покажет по какой строке закрыто. И посмотрите, что именно в роботс прописано в инструментах.

Он пишет, что те адреса не в домене.=) В том то и дело, что они не в домене, но в лаборатории пишет что они заблокированы в robots.txt, но как они могут быть там заблокированны, если они к моему домену вообще никакого отношения не имеют, это просто какие то подставные адреса яндекс метрики. Странно это все...

E
На сайте с 21.09.2009
Offline
283
#5
logicface:
В том то и дело, что они не в домене, но в лаборатории пишет что они заблокированы в robots.txt, но как они могут быть там заблокированны, если они к моему домену вообще никакого отношения не имеют, это просто какие то подставные адреса яндекс метрики.

скрин с ошибкой + урл сайта на русский гуглефорум ВМ. Подкину в "штаб".

С кодами ничего не напутали?

logicface
На сайте с 24.03.2014
Offline
10
#6
easywind:
скрин с ошибкой + урл сайта на русский гуглефорум ВМ. Подкину в "штаб".
С кодами ничего не напутали?

Коды я перепроверил уже миллион раз, вообще с моим сайтом происходит что то странное как мне кажется, кину сюда все скриншоты, которые по моему мнению интересные...

Пациент: http://gobanner.ru

1 - это конечно же полный рандом в лаборатории, то есть, 1 раз проверишь - все успешно, другой раз проверишь все не успешно.

https://www.dropbox.com/s/k97iiskra15l4ce/random.jpg

2 - это какие то странные запреты от robots.txt, которых быть не должно, но они почему то есть, раньше их кстати было больше, сейчас только 1.

https://www.dropbox.com/s/qjwkd2ze2c2m9yk/what.jpg

3 - это опять же всемогущий robots.txt, который, как видно блокирует все подряд, или я просто не правильно понимаю статистику.=D

https://www.dropbox.com/s/cx8eeow0jx79r56/robots.jpg

4 - это индексирование sitemap.xml, которое уже неделю стоит на одном месте, хотя контент моего сайта вроде как уникален, все тексты со 100% уникальностью и так далее, дизайн не ворованный, все написано самостоятельно.

https://www.dropbox.com/s/opgdodpypcwmtm6/sitemap.jpg

Кстати есть еще 1 проблема, может кому будет интересно, я уже яндексам написал в тех. поддержку. Дело в том, лазить по сайту через хром наступает момент ИКС и хром начинает бесконечно грузить страницу, как видно из скрин-шота виновата однопиксельная картинка яндекса.=D

https://www.dropbox.com/s/v3hudoo2byg8vav/error.jpg

---------- Добавлено 28.03.2014 в 12:41 ----------

Вы не поверите, но написав этот пост (верхний) я словил баг на бесконечную загрузку сайта в sercengines.=D Может это у меня с браузером что не так? Кстати ни на опере, ни на моезиле и других браузерах такой проблемы нету, оперу уже переустанавливал, все равно одно и тоже.

https://www.dropbox.com/s/gv10a9hj9n1fz9w/lol.jpg

E
На сайте с 21.09.2009
Offline
283
#7

logicface, ситуация следующая. Бот гугла не показывает предпросмотр из за того, что в яше этот сайт откуда грузится код, закрыт в роботс :) Ошибка не имеет отношения к вашему роботс вообще. Просто так работает предпросмотр. Если, что закрыто в роботс, то он не будет собирать на страницу эти куски.

logicface
На сайте с 24.03.2014
Offline
10
#8
easywind:
logicface, ситуация следующая. Бот гугла не показывает предпросмотр из за того, что в яше этот сайт откуда грузится код, закрыт в роботс :) Ошибка не имеет отношения к вашему роботс вообще. Просто так работает предпросмотр. Если, что закрыто в роботс, то он не будет собирать на страницу эти куски.

Спасибо вам большое, то бишь у меня все нормально? Просто странно это выглядит, что сайт иногда нормально проверяется, иногда нет, иногда какие то ошибки происходят в получении кода лайв интернета (тоже статистика)...=)

E
На сайте с 21.09.2009
Offline
283
#9
logicface:
Спасибо вам большое, то бишь у меня все нормально?

да нормально все. Только не частите с просмотрами.

logicface
На сайте с 24.03.2014
Offline
10
#10
easywind:
да нормально все. Только не частите с просмотрами.

Учту, а то я за 2-3 дня намолотил в сумме просмотров 15-20.=D

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий