Вопрос по robot.txt ...

12
Akon501
На сайте с 27.11.2009
Offline
57
#11

В вэб-мастере все страницы в индексе. Исключенных нет.

Akon501 добавил 20.01.2010 в 09:31

Ну так ответьте кто-нибудь - как склеить, страницы с WWW и без WWW. И какое это вообще значение имеет? Спасибо.

S
На сайте с 21.06.2008
Offline
32
#12
Akon501:

User-agent: Yandex
Disallow:
Host: www.----.ru

Правильно ли составлено или нет?

Да, правильно, но инструкции указаны только для яндекс-бота, а для других ботов - ничего.

Akon501:
А то после того, как положил на сайт robots.txt сайт вылетел из поиска.

Считается, что использование robots.txt только улучшает отношение ПС к сайту.

Akon501:
Ну так ответьте кто-нибудь - как склеить, страницы с WWW и без WWW

Для яндекса нужна директива в robots.txt, а гугл сам склеит, если есть ссылки на страницы с www и без www и на них одинаковый контент. imho.

Биржа ссылок (http://www.sape.ru/r.6fc77a1364.php).
Talisman13
На сайте с 20.01.2007
Offline
211
#13
Akon501:
Ну так ответьте кто-нибудь - как склеить, страницы с WWW и без WWW. И какое это вообще значение имеет?

На свои вопросы найдете ответы здесь.

Akon501
На сайте с 27.11.2009
Offline
57
#14

Спасибо. А может сайт не быть в бане, но вылететь из раздачи. Может быть временно. Если да, то какие причины этому могут быть?

Может из-за того, что я переделывал стили с <font на стили CSS, и таким образом "перелопатил" весь код всех страниц?

Заранее спасибо.

S
На сайте с 21.06.2008
Offline
32
#15
Akon501:
А может сайт не быть в бане, но вылететь из раздачи.

Да.

Akon501:
Может быть временно. Если да, то какие причины этому могут быть?

Читай тут про индексирование. http://help.yandex.ru/webmaster/?id=995294

Читай тут про кластерную структуру яндекса. http://help.yandex.ru/webmaster/?id=995296

Да и вообще всю помощь крайне желательно прочитать.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий