Помогите составить robots.txt

А разве это странно? Есть понятие "шаблон", "маска"...

Подгоняй правила под урл или урл под правила. Никакой высшей математики.

По-моему, это элементарщина.

Да конечно это все прочитано, просто это первый опыт в данной теме, я имею введу составление файла robots, просто у нас с начальником разногласия. Он считает, что должно быть как у конкурентов и заставляет идти в этом направлении. По моему мнению, robots.txt должен выглядеть так:

User-agent: *

Disallow: /cpbazu

Disallow: /search

Disallow: /sxd

Disallow: /noimages

Disallow: */v/*=*

Disallow: /*f/

Sitemap: http://site.com/sitemap.xml

User-agent: googlebot

Disallow: /cpbazu

Disallow: /search

Disallow: /sxd

Disallow: /noimages

Disallow: */v/*=*

Disallow: /*f/

User-agent: Yandex

Disallow: /cpbazu

Disallow: /search

Disallow: /sxd

Disallow: /noimages

Disallow: */v/*=*

Disallow: /*f/

Host: site.com

Но начальник говорит, что я не прав и вы, кажется, тоже так считаете. Ну что ж, буду больше читать. Просто каждая ситуация индивидуальна и не имея должного опыта, куда надежнее "показать проблему" и услышать мнение специалистов именно по конкретному вопросу, а когда читаешь решения чужих проблем или даже help, то все равно остаются сомнения, ведь не все поисковые системы одинаково работают с "роботсом".

halkhogan добавил 26.02.2011 в 13:30

Просто я раньше этим "роботсом", никогда не занимался, программисту дали задание запретить определенные страницы, он и запретил, а сейчас другой программист, студент, ничего не знает, что, как и почему делал предыдущий, как в принципе и я этого не знаю. Ну ладно, спасибо большое, что подсказал в каком направлении двигаться, теперь хоть что-то прояснилось.

Тогда да, лучше help не читать. А то вдруг окажется, что вы списали у двоечника и проверили у группы троечников. А от учебников - да, один вред.

Злой вы дядька «модератор», хотя на то вы и модератор. Просто ситуация у меня такая, что некогда зачитываться, надо дело делать. После нового года уволился наш «сеошник» и программист. Нового «сеошника» не нашли, да и не ищут, а программиста нашли, но молодого не опытного. Я раньше занимался только контекстной рекламой, акциями и т.д. Про СЕО и не заморачивался. А теперь, меня не спрашивая, на меня повесили интернет магазин и мне нужно теперь и старые проблемы решать, и что-то новое придумывать. Но это ладно, одно не ясно, ветка называется «Любые вопросы от новичков», я здесь и намного более «избитые» вопросы встречаю каждый день и ничего, и люди отвечают, не плюются, и вы на них так агрессивно не реагируете, как на мой вопрос. Хотя с другой стороны, как я уже говорил: "на то вы и Модератор"). Ладно больше не спорю.

User-agent: Yahoo

Disallow: /

Сайт закрыт от индексации, только для робота yahoo.

Обратите внимание, что здесь имеется FAQ (угадайте, для чего и для кого его кто-то писал и составлял), в котором написано:

наверное, лучше

Disallow: /*/f/