Гугл говорит о запрете индексации

Slaxor
На сайте с 29.08.2011
Offline
115
1049

Сайт на вордпресс, добавил в гугл вебмастер, но там вот такая байда

Пример роботса

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /tag

Disallow: /category

Disallow: /archive

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Solmyr
На сайте с 10.09.2007
Offline
501
#1

Он говорит, что вообще robots.txt не может считать. Получает какой-то другой ответ кроме 200.

Slaxor
На сайте с 29.08.2011
Offline
115
#2
Solmyr:
Он говорит, что вообще robots.txt не может считать. Получает какой-то другой ответ кроме 200.

Возможно из за того что я добавлял сайт в вебмастер до его открытия для индексации, но прошол уже день, а он досих пор не видет файл.

Solmyr
На сайте с 10.09.2007
Offline
501
#3
Slaxor:
Возможно из за того что я добавлял сайт в вебмастер до его открытия для индексации

Что вы подразумеваете под термином "открытие для индексации"?

Slaxor
На сайте с 29.08.2011
Offline
115
#4
Solmyr:
Что вы подразумеваете под термином "открытие для индексации"?

Убрал галочку Попросить поисковые системы не индексировать сайт

E
На сайте с 21.09.2009
Offline
283
#5

я перед заливанием сайта тоже закрыл. После открытия, 4 дня ждал начала индексации :)

Ждите короче теперь.

Solmyr
На сайте с 10.09.2007
Offline
501
#6
Slaxor:
Убрал галочку Попросить поисковые системы не индексировать сайт

Ничего тогда не могу подсказать потому что не знаю что это за галочка.

Как бы то ни было, обычно, на русском языке, "закрыть от индексации", означает написать в robots.txt сторку

User-agent: *
Disallow: /

То есть при этом файл robots.txt физически существует и дает ПС код HTTP-ответа 200.

А скриншот который вы привели из вебмастерса говорит что ПС получает код ответа иной чем 200. Либо файла robots.txt вообще не существует, либо сервер дает еще какие-то коды ответа 403, 302, 301, 502.

medexpert
На сайте с 19.02.2012
Offline
83
#7

А если:

http://site.ru/robots.txt

доступ есть?

"... Нет того веселья: Или куришь натощак, Или пьёшь с похмелья."
skybee
На сайте с 16.12.2009
Offline
126
#8

Я бы еще порекомендовал ТС покурить мануалы как правильно составлять robots.txt

E
На сайте с 21.09.2009
Offline
283
#9
Solmyr:
Как бы то ни было, обычно, на русском языке, "закрыть от индексации", означает написать в robots.txt сторку

Актуально только для яндекса. Для гугла, если страница в индексе только перестанет сканировать.

И3
На сайте с 23.03.2011
Offline
213
#10

Как вариант, можно исключить из результатов поиска Google и повторно проиндексировать. ТУТ указывается как сделать.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий