Просмотреть как Googlebot - Запрещено в файле robots.txt

Ripro
На сайте с 04.11.2006
Offline
144
1203

Доброго времени суток!

Нужна ваша помощь :)

Google считает сайт закрытым в robots, хотя сайт открыт.

Зарегистрировала неделю назад домен в зоне COM в GoDaddy (не покупка зарегистрированного, А обычная регистрация). Сайт на WP поставила, наполнила. На время наполнения сайт был закрыт от индексации, вчера открыла. Добавила вчера в Инструменты вебмастеров Google.

Сразу уточню, что файл robots.txt стандартный для сайта на WP, хотя пробовала и без файла, и все разрешить к индексации, результат один. В коде страниц так же нет запретов на индексацию.

При попытке Просмотреть как Googlebot: "Запрещено в файле robots.txt"

При попытке скормить карту сайта:

"При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.

Сведения о файле Sitemap - URL, запрещенный файлом robots.txt"

В выдаче гугла - 4 страницы старого сайта, который, лежал на этом домене (в вебархиве - одна запись февраль 2012) с текстом в сниппете "Описание веб-страницы недоступно из-за ограничений в файле robots.txt" и без кеша. На домен одна ерундовая внешняя ссылка с комментов зарубеж. ресурса.

Более ни один сервис не определил, что robots.txt что-либо важное блокирует, карта сайта прошла всюду тоже.

Проверила логи сервера - Googlebot ни разу не приходил.

Подала запрос на удаление имеющихся страниц из выдачи и кеша.

С подобной ситуацией сталкиваюсь впервые. Подскажите, уважаемые, что это может быть? Фильтр домена, бан, глюки Google?

Не представляю как проверить в такой ситуации на санкции - сайта-то нет ))

Стоит ли подавать запрос на пересмотр?

Если все же фильтр/бан и сайт проиндексируется после пересмотра - нужен ли такой сайт вообще, может быть, пока не поздно, взять новый домен, перекинуть сайт и не мучиться?

Julia Web
На сайте с 13.02.2012
Offline
46
#1
Добавила вчера в Инструменты вебмастеров Google.

может просто немного подождать?

я в середине августа вычистила вручную через форму удаления 404 около 180 страниц. гугл сообщил, что удаление прошло успешно, а страницы до сих пор показываются в индексе по запросу site:domain.com

ну и может все же покажете содержимое robots.txt?

Блог о продвижении сайтов в буржунете (http://seowest.org) делюсь опытом по google.com, google.co.uk, google.us, google.es
Ripro
На сайте с 04.11.2006
Offline
144
#2
Julia Web:
может просто немного подождать?

я в середине августа вычистила вручную через форму удаления 404 около 180 страниц. гугл сообщил, что удаление прошло успешно, а страницы до сих пор показываются в индексе по запросу site:domain.com

ну и может все же покажете содержимое robots.txt?

Речь не о появлении страниц в выдаче, а о функции "Просмотреть как Googlebot" - тут ответ сразу, за пару секунд.

robots.txt:

User-agent: *

Disallow: /login

Disallow: /register

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Host: ......com

Sitemap: http://.....com/sitemap.xml

Опять-таки - пробовала просто:

User-agent: *

Allow: /

Host: ......com

Sitemap: http://.....com/sitemap.xml

Результат тот же.

angr
На сайте с 11.05.2006
Offline
413
#3

может и в этом проблема: http://habrahabr.ru/post/151207/

Требуется СЕО-Специалист в Кишиневе, в офис. ()
Ripro
На сайте с 04.11.2006
Offline
144
#4
angr:
может и в этом проблема: http://habrahabr.ru/post/151207/

Не думаю, сайт и домен работали все это время без проблем. Проверяла и другие сайты, домены которых зарегистрированы в GoDaddy - проблем нет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий