Как правильно сделать файл robots для Яши?

есть - Использование robots.txt 🚬

Спасибо!

Как вы думаете.. я этот роботс правильно прописал? Если честно то об этом я плоховато знаю! Подскажите пожалуйста!

User-agent: *

Disallow:

User-agent: Yandex

Disallow: /index.htm

Host: harunrab.com

И более того, даже не пытались ничего найти.

http://robotstxt.org.ru - на доступном языке.

Написано правильно. Но только зачем закрывать от Яндекса главную страницу сайта? У вас таким образом все страницы сайта только по внешним ссылкам индексироваться будут. А наиболее вероятно, что новые страницы вообще в индекс Яндекса попадать не будут.

ЗЫ. В robots.txt длля Яндекса с недавнего времени можно еще и директиву Sitemap: добавить. В таком случае, вероятно, закрытия для индексирование главной страницы сайта не повлияет на индексацию остальных.

Не вводите людей в заблуждение. Рогаль Иван все правильно делает — избегает неверной переклейки. Раньше это был изрядный бич в Яндексе.

User-agent: *

Disallow:

User-agent: Yandex

Disallow: /index.htm <-- вы закрываете от яндекса главную страницу, что не есть хорошо

Host: harunrab.com

------------------------------

User-agent: *

Disallow:

User-agent: Yandex

Disallow:

Host: harunrab.com

Просто Disallow требуется согласно стандартам, а Disallow: с пустой строкой значит "Не запрещать ничего".

Я так сделаю как вы посоветовали! Спасибо!

А подскажите пожалуйста, как делать директиву Sitemap для Яши???

Sitemap: http://www.site.com/sitemap.xml

Саму карту сайта надо будет сгенерировать либо с помощью online сервисов, либо с помощью специальных программ. Ищите...

А можно поподробней? Что за неверная переклейка?

lenny,

Вот есть у вас сайт, скажем, blabla.ru . И другие сайты ссылаются на вас как http://blabla.ru .

В какой-то момент из своих внутренних соображений Яндекс бот может решить, что у вас сайт не blabla.ru, a www.blabla.ru, что в принципе тоже верно, если вы не указали обратное и www.blabla.ru и blabla.ru показывают на одно и то же место.

Как только это произошло, положительный эффект от ссылок на http://blabla.ru пропадает, ибо http://blabla.ru и http://www.blabla.ru - разные сайты (хоть и с одинаковым содержанием - зеркала). Это значительно понижает выдачу ваших страниц в результатах поиска, тиц итд итп.

Чтобы этого избежать всегда надо указывать host директиву для яндекса. Тогда что у вас за домен определяется однозначно.