robots.txt

User-agent: *
Disallow: /
Allow: /index.php
Allow: /$

Примерно так.

User-agent: *
Disallow: /
Allow: /index.php
Allow: /$

сенкс, сейчас потестим

Главное чтоб он не полез в index.php?.....

Наоборот надо

Allow: /$

Disallow: /

Для google - пофиг. Для Яндекса - да, именно так и надо.

Для гугл:

User-agent: *

Allow: /$

Disallow: /*

Если главная - это именно /index.php (без параметров), тогда перестраховаться /index.php$

так делать не надо!

судя из сообщения Sower "главное чтоб он не полез в index.php?....." - сделал вывод, что главная по адресу index.php и есть внутренние index.php?..

поэтому, только так:

User-agent: *

Allow: /index.php$

Allow: /$

Disallow: /

иначе, для /index.php?param - все другие предложенные варианты разрешат (не поленился и проверил правильность моего robots.txt в GWT)

Да, у гугла этот тупой анализатор, там у них не в порядке следования а в уровне вхождения.

Т.е.

точное вхождение в URL: A и D - приоритет у A. очередность неважна

наибольшее вхождение в URL: A - приоритет у A. очередность неважна

наибольшее вхождение в URL: D - приоритет у D. очередность также не играет роли.

Где A - Allow; D - Disallow; URL - URL

I

Disallow: /index.php

Allow: /index.php?page

/index.php?page=23 - разрешен

/index.php - заблокирован

II

Allow: /

Disallow: /index.php

/index.php?page=23 - запрещен

/ - разрешен

Хотя лучше все директивы Allow писать вначале, во первых нет смысла что-то разрешать, потом это же запрещать, во вторых - это делает запреты совместимы с остальными ботами которые понимают аллоу (с яндексом по крайней мере).

Ничего там нет тупого! Там всё чётко документировано.

Вот то, что написано выше, это не только оставляет сомнения, но иногда даже теряет логику. Зачем писать абы что?! :)

Каждый раздел robots.txt начинается с User-agent. отсутствие этой детали не даёт понять вам смысла в упорядочении Allow и Disallow.

Каждый новый раздел заставляет игнорировать значение предыдущего:

User-agent: *

Disallow: /katalog1/

User-Agent: Googlebot

Disallow: /katalog2/

В этом примере для поискового робота Googlebot будут запрещены только URL-адреса, включающие /katalog2/.

Allow: нужен в 90% в тех случаях, когда Disallow: перекрывает (или им просто легче перекрыть) целый каталог (или даже сайт), но исключив при этом некоторые URLы.

User-agent: *

Allow: /*?$

Disallow: /

В этом примере строка Disallow: / блокирует весь сайт целиком, начиная с корня, строка Allow: /*?$ (которая обязательно должна идти перед Disallow) разрешает доступ ко всем URL-адресам, оканчивающимся знаком вопроса, т.е. после знака ? нет никаких символов.

В примере I, если поменять директивы Allow, Disallow местами, то:

Запрещены все урлы, начинающиеся на /index.php, то же самое, что и /index.php* - звёздочка не нужна..

Разрешены только те, что после знака ? начинаются на page

В примере II лишний Allow и запрещены урлы с началом /index.php

Сам домен, к примеру, разрешён и много ещё чего разрешено, по сути...