У меня или у Гугла

12
N_N_N
На сайте с 10.09.2008
Offline
252
647

глюки? :)

Мониторил сайтик в вебмастере. Вижу выдаёт предупреждение по файлу sitemap.xml

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

Сам урл находится в директории тегов _http://www.******.com/tags-base/*****

(* - забиты буквы)

Вот мой роботс:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /search
Disallow: */trackback
Disallow: */feed
Disallow: */jb
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /xmlrpc.php

Запрета нет. Другие теги нормально кушает. Сижу и не бельмеса - что он хочет и чего ему надо?

• Хостинг США анлим за $49/год и $200 вам на рекламу (http://goo.gl/IFQ0Kk) (юзаю 5 лет) • Мои домены здесь (http://www.regnic.name/) – доволен как слон
Z
На сайте с 06.12.2012
Offline
6
zeu
#1

по какому-то из этих

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /search

Disallow: */trackback

Disallow: */feed

Disallow: */jb

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /xmlrpc.php

и выдает ошибку

N_N_N
На сайте с 10.09.2008
Offline
252
#2
zeu:
по какому-то из этих и выдает ошибку

Я же выше показал урл проблемный. Таких же тэгов ещё 100500 и с ними всё ок. Каким образом из 100500 идентичных он 1 в проблемные сунет и на роботс ссылается?

Вы видите строку:

Disallow: /tags-base

?

Я нет. Вы в роботсе хоть понимаете, или лишь бы чего-нить написать?

SEOCondition
На сайте с 03.10.2011
Offline
118
#3

В выдаче тоже пишет, что содержимое заблокировано в robots.txt?

Если да, то нужно подождать некоторое время, как показывает практика, решается в течение 1-2 недель. Однако, если в выдаче такого не наблюдается, а только в ВМ Гугла, то это просто очередной лаг.

В любом случае, стоит проверить доступность страницы через "чекер" Гугла в ВМ.

[⚡] PBN под ключ, обслуживание, консультации — обращайтесь в личку
Z
На сайте с 06.12.2012
Offline
6
zeu
#4

как-то вы слишком нервничаете для обычного (смертного) страждущего. есл у вас 100500 страниц говно, а на одной идет траффик - возрадуйтесь и сделайте выводы

пы.сы. возможно страница перекеширована, как на примере яндекс и cloud flare

N_N_N
На сайте с 10.09.2008
Offline
252
#5
SEOCondition:
В выдаче тоже пишет, что содержимое заблокировано в robots.txt?

Да.

Не могу понять, с какого перепуга его так косячит :)

---------- Добавлено 27.12.2012 в 00:22 ----------

zeu:
как-то вы слишком нервничаете для обычного (смертного) страждущего. есл у вас 100500 страниц говно, а на одной идет траффик - возрадуйтесь

Ты о моём трафике пришёл поговорить, или умом блеснуть?

SEOCondition
На сайте с 03.10.2011
Offline
118
#6
N_N_N:
Да.

Не могу понять, с какого перепуга его так косячит :)

можно в .htaccess прописать правило, чтобы карта отдавалась по запросу site[dot]com/sitemap.xml

Должно решить проблему.

P.S: пример: RewriteRule /?sitemap.xml %{DOCUMENT_ROOT}%/tags-base/sitemap.xml [L]

N_N_N
На сайте с 10.09.2008
Offline
252
#7

SEOCondition, не буду я из-за одного тега заморачиваться :) Я просто причину понять не могу. Почему все теги по адресу /tags-base/тег без проблем, а один, которому уже пару лет, сейчас вдруг в проблемные перекинуло.

P.S. А карта итак отдаётся без проблем по этому адресу.

Z
На сайте с 06.12.2012
Offline
6
zeu
#8
N_N_N:
Да.

Не могу понять, с какого перепуга его так косячит :)

---------- Добавлено 27.12.2012 в 00:22 ----------


Ты о моём трафике пришёл поговорить, или умом блеснуть?

ну раз ты не блещешь, то не грех и мне блеснуть - свято место пусто не бывает

SEOCondition
На сайте с 03.10.2011
Offline
118
#9
N_N_N:
SEOCondition, не буду я из-за одного тега заморачиваться :) Я просто причину понять не могу. Почему все теги по адресу /tags-base/тег без проблем, а один, которому уже пару лет, сейчас вдруг в проблемные перекинуло.

конечно, понимаю, что шанс этого мизерный, но всё-таки посмотрите в исх.код, возможно, каким-то образом туда прокрался мета-тег, запрещающий индексирования страницы. Более вариантов нет, но склоняюсь к временному лагу.

webrock
На сайте с 05.04.2010
Offline
261
#10

N_N_N, помнится у меня была похожая проблема и кажется я лечил

скоростью сканирования.

Мне кажется, что сегодняшние роботы Гугла способны так быстро сканировать,

что у них шарики за ролики заскакивают...

ещё ж WP карту гзипует, может в это время залетел робот и не понял

что оно было и дал команду на ошибку в роботсе ...

вообще, имхо, полезно понижать скорость сканирования, особенно когда

очень много страниц, что бы избежать всяких ошибок.

Полный аудит сайтов. (/ru/forum/765361)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий