Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Путаница с зеркалами, и robots.txt

А3
На сайте с 13.02.2015
Offline
5
Алекс35
580

Здравствуйте!

Я не хотел создавать тему, но написать в аналогичной, не получилось,

пишет что старая..Извините если что..

Подскажите пожалуйста чайнику, чего теперь ждать, и как исправить ситуацию..

Постараюсь изложить суть проблемы как можно подробнее...

Имеется новый сайт вввмойсайтточкару

Добавил в Гугл, появился в индексе буквально через 3-4 дня. Ура!

При добавлении в Яндекс, не особо вникнув про то, что же такое зеркало, и как правильно добавлять сайт, (думал что будет также просто как и с Гуглом) сделал следующее:

1. Добавил сайт, - мойсайтточкару (без "ввв")

2. Напротив Host в файле роботс тхт, прописал:

Host: мойсайтточка ру (без ввв)

Прошла неделя, сайт не индексировался..и проверяя "ответ сервера"

я увидел что там написано:

Код статуса HTTP: "301 Moved Permanently"

Location: http://вввточкамойсайтточкару

Я подумал что я накосячил в самом начале не указав "ввв", и.... решил удалить сайт с очереди на индексацию в Яндексе...А затем добавить по новой..(не уверен что это хороший ход)

Итак, изменил файл роботс тхт.

Написал там теперь так:

Host: вввмойсайтточка ру (то есть уже с "ввв")

Снова подал заявку в Яндекс, но уже и здесь указал с "ввв", - вввмойсайтточкару

Прошло 4-5 дней, появилась надпись, -

"Сайт начал индексироваться. Страницы должны появиться в поиске через 1-2 обновления поисковой базы."

проверил "ответ сервера"

там написано:

Код статуса HTTP: "200 OK"

.........

Вопросы:

1. Проиндексируется ли мой сайт, с учетом того, что я явно перемудрил своими действиями..?

До сих пор не понимаю что я должен был указать напротив хост, с ввв или без ввв..

И еще..я так понял что даже если мой сайт проиндексируется, то теперь он будет выглядеть с ввв,

а я бы хотел чтобы было без...:(

Вычитал что для этого нужно указать Яндексу, в пункте "главное зеркало", вариант который мне нравиться. Но я также прочитал что для этого нужно и напротив "хост", в роботсе, поменять значение, а еще и в файле .htaccess что то менять....

С учетом того что я уже и так не понятно что наворотил, боюсь что либо менять уже..

2. Если проиндексируется, как правильно сменить вввмойсайтточкару, на вариант без ввв?

Каков точный порядок действий, что где и как менять...?

3.Если не проиндексируется, что предпринять и в каком порядке?

Очень надеюсь на советы разбирающихся в этом..

A
На сайте с 22.11.2012
Offline
80
Alchemis
#1
Алекс35:

1. Проиндексируется ли мой сайт, с учетом того, что я явно перемудрил своими действиями..?
До сих пор не понимаю что я должен был указать напротив хост, с ввв или без ввв..
И еще..я так понял что даже если мой сайт проиндексируется, то теперь он будет выглядеть с ввв,
а я бы хотел чтобы было без...:(
Вычитал что для этого нужно указать Яндексу, в пункте "главное зеркало", вариант который мне нравиться. Но я также прочитал что для этого нужно и напротив "хост", в роботсе, поменять значение, а еще и в файле .htaccess что то менять....
С учетом того что я уже и так не понятно что наворотил, боюсь что либо менять уже..

2. Если проиндексируется, как правильно сменить вввмойсайтточкару, на вариант без ввв?
Каков точный порядок действий, что где и как менять...?

3.Если не проиндексируется, что предпринять и в каком порядке?

Очень надеюсь на советы разбирающихся в этом..

1. Т.к у вас на сервере настроен 301 редирект с мойсайт.ru на www.мойсайт.ru (Код статуса HTTP: "301 Moved Permanently" ), то и в robots.txt необходимо указывать адрес с www. В яндекс вебмастере заново заявку создавать было необязательно.

Теперь ваш сайт будет выглядеть в выдаче с www.

2. Если хотите, чтобы сайт был без www надо:

a. Настроить в .htaccess 301 редирект с www на адрес без www.

b. В robots.txt прописать host: мойсайт.ru без www.

c. Зайти в яндекс и гугл вебмастер и в обоих случаях поменять главное зеркало на адрес без www.

d. Ждать, пока оба поисковика примут все изменения.

3. Не вижу смысла переделывать адрес и убирать www, но если это вам необходимо делайте пункт 2 и просто ждите.

А3
На сайте с 13.02.2015
Offline
5
Алекс35
#2

Большое спасибо за такой подробный ответ.

Тогда менять больше ничего не буду, и буду надеяться что Яндекс сайт проиндексирует.

Вот только два момента, которые я не совсем понял...

1.

Alchemis:
1. Т.к у вас на сервере настроен 301 редирект

Я сам вроде ничего не трогал..А где это посмотреть можно?

2. Я читал где то в сети, что когда сайт с (www), то поисковики принимают такой сайт, за домен 3 уровня..Я в этом не силен. Свой сайт впервые. Смотрю на ютуб, различные уроки, как сделать то, или как сделать это, и почти у всех этих учителей на видео, сайт без www. Вот и я типо как все хотел...Думал лучше будет... К примеру этот форум, он тоже вот без три в, и все известные мне сайты, тоже без www...Но может быть тут стадное чувство и не к чему!?😕

А3
На сайте с 13.02.2015
Offline
5
Алекс35
#3

Тут еще пару вопросов появилось, может кто-нибудь что-то посоветует....

Вобщем, пару дней назад, Яндекс проиндексировал только 8 страниц. (из 34)

Но загвоздка не в том что так мало, а в том что среди этих 8 страниц, нет главной!

Я читал что чаще всего люди переживают когда в индекс попадает только главная, а другие долго не идут. У меня же ситуация наоборот получается...

Сайт-статейник, главная страница не статическая...Может в этом причина?

Роботс.тхт, настроен вроде нормально..

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

Прошло еще пару дней, робот, если верить статистике, заглядывал уже несколько раз после этого, но в Яндексе по прежнему нет остальных страниц, и что самое странное, нет главной!

Я очень много плохих отзывов читал о статейниках, что мол занятие это очень не благодарное,

что даже с супер-уникальным контентом, Яндекс будет плеваться на такие сайты..

Может в этом причина? Но сайту вроде всего месяц..

Или же можно не волноваться, и это всего лишь вопрос времени?

А3
На сайте с 13.02.2015
Offline
5
Алекс35
#4

Вот, спустя некоторое время, все таки решился на смену главного зеркала.

Но прежде чем воспользоваться данными мне ранее советами,

Alchemis:

Теперь ваш сайт будет выглядеть в выдаче с www.
2. Если хотите, чтобы сайт был без www надо:
a. Настроить в .htaccess 301 редирект с www на адрес без www.

прочитал еще раз справку Яндекса:

Для смены главного зеркала мы не рекомендуем использовать перенаправление 301,
поскольку при этом цель перенаправления, являющаяся неглавным зеркалом,
индексироваться не будет, а страницы, вернувшие роботу код HTTP 301, будут удалены из поисковой базы...

И снова возникло несколько вопросов..:o

1. С учетом рекомендаций Яндекса, пункт "a" может пропустить?

2.Сейчас у меня в .htaccess так:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WordPress

Если пункт "a" все таки необходим, то правильно я понимаю что нужно добавить эти строки, -

RewriteCond %{HTTP_HOST} ^www\.мойсайт\.ru$ [NC]
RewriteCond %{REQUEST_URI} !^/robots.*
RewriteRule ^(.*)$ http://мойсайт.ru/$1 [R=301,L]

Если редирект здесь не нужен, то оставить все как есть в этом файле, или может нужно из него что-то удалить?

И последний, вероятно самый наивный вопрос:

В какой момент, нужно сменить адрес на без www, в этих строчках, в общих настройках Вордпресса?

Помогите разобраться пожалуйста....:o

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий