Dzhem: Ненадо отдельно для яндекса указывать. Яндекс со звездочкой прекрасно все понимает. просто напишите:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
и т. д. все папки, индексацию которых следует запретить
Host: домен - указываете для яндекса основной домен, с www или без, как укажете - так будет отображаться в выдаче
Crawl-delay: 3 - указываете поисковику минимальный интервал сканирования страниц в секундах, если ненадо - уберите. у меня например не стоит ни где, не юзаю
Sitemap: ссылка на sitemap.xml
И все. отдельно для яндекса ничего делать ненадо. Он прекрасно понимает звездочку
Но Crawl-delay работает вроде только для Яндекса, значит все равно надо отдельно для него прописывать:
User-agent: Yandex
Crawl-delay: 3
или как?
Указала в роботс сайт без www, а в вебмастере с самого начала стоит с www, как сделать выдачу без www?
olja1 добавил 08.03.2010 в 01:24
MO-HAX: Звёздочку то все понимают, только вот команду Host только 2 паука яндекс и рамблер, а остальные определяют как ошибку.
Я думаю яндекс не просто так рекомендует использовать User-agent: Yandex
Это верно, но какая разница, если прописывать эти параметры в начале файла или в конце?
Ненадо отдельно для яндекса указывать. Яндекс со звездочкой прекрасно все понимает. просто напишите:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
и т. д. все папки, индексацию которых следует запретить
Host: домен - указываете для яндекса основной домен, с www или без, как укажете - так будет отображаться в выдаче
Crawl-delay: 3 - указываете поисковику минимальный интервал сканирования страниц в секундах, если ненадо - уберите. у меня например не стоит ни где, не юзаю
Sitemap: ссылка на sitemap.xml
И все. отдельно для яндекса ничего делать ненадо. Он прекрасно понимает звездочку
Но Crawl-delay работает вроде только для Яндекса, значит все равно надо отдельно для него прописывать:
User-agent: Yandex
Crawl-delay: 3
или как?
Указала в роботс сайт без www, а в вебмастере с самого начала стоит с www, как сделать выдачу без www?
olja1 добавил 08.03.2010 в 01:24
Звёздочку то все понимают, только вот команду Host только 2 паука яндекс и рамблер, а остальные определяют как ошибку.
Я думаю яндекс не просто так рекомендует использовать User-agent: Yandex
Это верно, но какая разница, если прописывать эти параметры в начале файла или в конце?
Если "разрешён" в зелёном цвете то нормально 😂
Результаты проверки URL с www: разрешен
Результаты проверки URL без www: этот URL не принадлежит вашему домену
Почему так? Хотелось, чтобы показывало мой сайт без www, зачем оно...
всмысле главную? сменил движок, изменилось все, структура страницы, дизайн
В смысле - текст на главной странице
Он вам сказал что с 1-ой по 13-ю строчку + 28 строчка - команды которые относятся к нему.
Домен свой в поле - "Список URL" вставьте и нажмите "проверить".
Результаты проверки URL с www: разрешен
Результаты проверки URL без www: этот URL не принадлежит вашему домену
Почему так? Хотелось, чтобы показывало мой сайт без www, зачем оно...
А поподробнее?
Только телефоны убрать или весь дизайн сменить лучше?
как лучше поступить, подскажите, я совсем-совсем зеленый🤪
Лучше, конечно, и дизайн
роботс есть...
и сомневаюсь, что это из-за списка рубрик, у меня и до этого он был не маленький.
А главную не меняли?
Главное что бы яндекс был согласен🚬. Проверьте - http://webmaster.yandex.ru/robots.xml
Вот что сказал ЯндексВебмастер:
1-13 User-agent: Yandex
Disallow: /cgi-bin
...
Crawl-delay: 3
28-28 Sitemap: http://www.домен/sitemap.xml
все хорошо?
Что, менять дизайн?
и тексты тогда тоже?
может лучше вообще замаскироваться, типа я не я и опа не моя?
Просто начните с самых начал оптимизации сайта и все продвинется!
Правила для Яндекса ставьте вначале, топишь:
Сделала так, все согласны с этим? Так точно правильно?
А robots.txt есть?
А у вас есть большой список рубрик в сайтбаре?