Комментарии - olja1 - Профиль вебмастера - Форум об интернет-маркетинге

7 марта 2010, 22:20

Dzhem:
Ненадо отдельно для яндекса указывать. Яндекс со звездочкой прекрасно все понимает. просто напишите:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
и т. д. все папки, индексацию которых следует запретить

Host: домен - указываете для яндекса основной домен, с www или без, как укажете - так будет отображаться в выдаче

Crawl-delay: 3 - указываете поисковику минимальный интервал сканирования страниц в секундах, если ненадо - уберите. у меня например не стоит ни где, не юзаю

Sitemap: ссылка на sitemap.xml

И все. отдельно для яндекса ничего делать ненадо. Он прекрасно понимает звездочку

Но Crawl-delay работает вроде только для Яндекса, значит все равно надо отдельно для него прописывать:

User-agent: Yandex

Crawl-delay: 3

или как?

Указала в роботс сайт без www, а в вебмастере с самого начала стоит с www, как сделать выдачу без www?

olja1 добавил 08.03.2010 в 01:24

MO-HAX:
Звёздочку то все понимают, только вот команду Host только 2 паука яндекс и рамблер, а остальные определяют как ошибку.
Я думаю яндекс не просто так рекомендует использовать User-agent: Yandex

Это верно, но какая разница, если прописывать эти параметры в начале файла или в конце?

Что не так с моим robots.txt ?

7 марта 2010, 22:06

MO-HAX:
Если "разрешён" в зелёном цвете то нормально 😂

Результаты проверки URL с www: разрешен

Результаты проверки URL без www: этот URL не принадлежит вашему домену

Почему так? Хотелось, чтобы показывало мой сайт без www, зачем оно...

Изменил движок сайт, яндекс не индексирует

7 марта 2010, 22:03

ZxKill:
всмысле главную? сменил движок, изменилось все, структура страницы, дизайн

В смысле - текст на главной странице

Что не так с моим robots.txt ?

7 марта 2010, 22:02

MO-HAX:
Он вам сказал что с 1-ой по 13-ю строчку + 28 строчка - команды которые относятся к нему.

Домен свой в поле - "Список URL" вставьте и нажмите "проверить".

Результаты проверки URL с www: разрешен

Результаты проверки URL без www: этот URL не принадлежит вашему домену

Почему так? Хотелось, чтобы показывало мой сайт без www, зачем оно...

Сайта нет в поисковой выдаче

7 марта 2010, 21:57

Vala:
А поподробнее?
Только телефоны убрать или весь дизайн сменить лучше?
как лучше поступить, подскажите, я совсем-совсем зеленый🤪

Лучше, конечно, и дизайн

Изменил движок сайт, яндекс не индексирует

7 марта 2010, 21:55

ZxKill:
роботс есть...
и сомневаюсь, что это из-за списка рубрик, у меня и до этого он был не маленький.

А главную не меняли?

Что не так с моим robots.txt ?