robots.txt

Проверить роботс.

Я знаю про такой сервис. Но всё же меня интересуют мои закарючки. Им можно доверять? Сайт будет быстрее индексироваться? 3-ю неделю после отправки в индекс Яша его не видит...

Закорючки в роботсе никак не влияют на скорость индексации.

Сайт быстрее не индексируется от этого

Но почему же? Если убрать всё лишнее роботу будет проще индексировать. В данном роботсе я и хочу оставить для индексации лишь контент.

смотря сколько страниц на сайте, да и то под вопросом.

Вы видимо не представляете себе какие мощностя у поисковых ботов. Ваша сотня страниц для них - чих. Они миллионами страниц ворочают, и ничего, справляются.

Идея интересная конечно, но бесполезная. С мощностями ПС ботов - бессмыслено.

Роботс запрещает скачивать все, кроме html файлов.

User-agent: *

Allow: /*.html$

Disallow: /

А главная? *недоумевающий смайл*