Что неправильно? файл robots и вылетевшие страницы

Doggi
На сайте с 30.05.2010
Offline
55
481

Перед новым годом вылетело из поиска очень много страниц. Год до этого все было ок, пару месяцев назад поменяла немного файл robots.txt, проставила по совету с этого же форума Host: www.сайт.ru, так как в результатах поиска сайт и все его страницы выглядели именно так.

Может я что неправильно сделала, но в итоге 31 декабря по ключевым запросам сайт вылетел из поиска.

На мой вопрос пришел ответ:

Страницы сайта не смогут участвовать в результатах поисковых запросов пока не будут проиндексированы роботом! Страницы в Вашем примере не индексируются по причине 301 редиректа на неглавное зеркало сайта (doggi.ru без www).
Индексация у нас происходит по главному зеркалу! Таким образом Вам стоит либо убрать редирект или поменять главное зеркало сайта (в директиве Host: в robots.txt). Затем дождаться обновления базы зеркал!

Я не могу понять своим умом, что не так. Пожалуйста, помогите.

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /mchat
Disallow: /search
Host: www.сайт.ru

Sitemap: http://www.сайт.ru/sitemap.xml
Sitemap: http://www.сайт.ru/sitemap-forum.xml
Sitemap: http://www.сайт.ru/sitemap-shop.xml
K
На сайте с 31.01.2001
Offline
737
#1

Вы не выбрали главное зеркало у себя в голове.

В Host написали www.doggi.ru , а там редирект 301 - неувязочка. Роботы в шоке. Вы их заманили на этот домен и послали редиректом на ... другой домен.

Редирект уберите и подумайте еще раз, какой домен должен быть главным. Вам же все написали по-русски понятными словами.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
izbushka
На сайте с 08.06.2007
Offline
110
#2

Все дело в

Doggi:
Host: www.сайт.ru

Вы прописали основным зеркалом сайт с www. А при заходе на сайт с www серевер перенаправляет на сайт без www. Поскольку страницы уже выпали, то все-равно что делать:

1. либо поменять host: сайт.ru

2. либо поменять редирект: сделать с сайта без www на c www

Doggi
На сайте с 30.05.2010
Offline
55
#3

Спасибо.

Но я понять не могу. Сайт был в яндексе с www, мне посоветовали поставить этот host c www.

Я не знала, что у меня редирект.

Сайт на ucoz, домен прикрепленный...где убрать этот редирект?

И как определить все же - какой домен главный.

sokolenko
На сайте с 06.06.2010
Offline
67
#4

Редирект может быть в коде, может в файле .htaccess. Скорее всего у Вас он в этом файле. Этот файл можно найти, если зайти в корень сайта на сервере. Откройте его и найдите примерно вот такие строки:

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www\.doggi\.ru$ [NC]

RewriteRule ^(.*)$ http://doggi.ru/$1 [R=301,L]

Уберите 2 последние и все будет хорошо.

Doggi
На сайте с 30.05.2010
Offline
55
#5

sokolenko, спасибо, но на ucoz в этой файл не зайти.

Doggi добавил 12.01.2011 в 18:06

А база зеркал как часто обновляется?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий