Вопрос по robots.txt

El_Gato, Hkey, спасибо за пояснения.

1. Из всего выше сказанного, я делаю вывод, что мне достаточно в роботс.тхт написать:

Allow: /index.php, а все осатльное в public_html можно смело запрещать. Зайдя по www.mysite.ru/index.php робот увидит главную страницу, с которой ссылки через меню сайта ведут на все категории, подкатегории и страницы со статьями и проиндексируют все, что надо. Верно?

2. Allow: /index.php* - я думаю писать бессмысленно, т.к. все равно у меня нет динамических страниц типа mysite.ru/index.php?param1=dsfds&param2=3, а они подменяются статическими вида http://www.mysite.ru/word/n1/n2/n3/, верно?

3. Можно в принципе еще написать Allow: /word/, где word это все динамические папки, где находятся страницы со статьями (т.е. page, cat, articles, info), чтобы робот точно знал где стоит искать статьи для индексации. Улучшит ли это индексацию, или Allow: /index.php вполне достаточно?

Спасибо.

Все верно, только пунк 3 не опционально, а обязательно...

Ведь если робот найдет сслыку вида http://www.mysite.ru/word/n1/n2/n3/, но будет запрещен доступ в папку /word/ со всеми ее подпапками, тогда робот и не пойдет дальше главной.

А вообще лучше не мудрить с Allow, а просто ручками прописать Disallow для всех файлов и папок кроме index.php, /word/ и /, т.е. не напишите чего доброго что то вроде:

Disallow: /*

или

Disallow: *

Звездочка сама автоматом приписываеться в конец аллоу и диссалоу диретив.

2. Аллоу и прочих расширений не должно присутвовать в общей части роботс.тхт

El_Gato, ну то есть я понял так - пишу роботс.тхт следующим образом:

где folder1...fiolderN - все папки в public_html, file1...fileN - все php файлы (кроме index.php) в public_html, а word1...wordN - все динамические папки создаваемые по кликам на ссылки с главной страницы сайта. Правильно?

Абсолютно верно...

У меня примерно такая схема работает

Но послле всего этого кропотливого труда не поленитесь проверить в http://webmaster.yandex.ru/, ну или аналогичных сервисах, дабы избежать неприятных сюрпризов.

Стремный файл будет. "Allow:" директива из расширенного синтаксиса. в "User-Agent: *" ее крайне не рекомендую указывать поскольку она далеко не всеми роботами воспринимается.

Ну вроде все понял, так и сделаю.

Спасибо огромное за помощь. :)

Удачи.

Aveter добавил 26.05.2008 в 20:03

Ну то что не всеми воспринимается - это бог с ним, не сработает так не сработает, лишь она не помешала.

А стоит ли в принципе заморачиваться с функцией Allow?

Ну не знаю, мне кажется если она не мешает, то может направить робота к указанной папке (то есть облегчить/ускорить индексацию).

И еще тут вопросец возник в процессе написания:

есть несколько служебных файлов и папок - от сапы (типа ac05eva07egddecfaa7466c36fb1s67a), от goоgle analytics (типа google140ca4746d9ag003.html) и yahndex-webmasters (типа yandex_7bdfegs787bdg4a298.txt). Вот с ними я не знаю как быть - нужно ли оставлять их открытыми для индексации? Они тем же роботом проверяются, что и индексируется сайт, или же это совершенно независимые роботы? Подскажите плиз.

Aveter добавил 26.05.2008 в 21:29

Фух, написал (замучился :))- 155 строк получился, 4 Кб - не слишком много?

Чтоб не получилось как здесь Яша предупреждает:

Вообще, разумно было конечно написать для всех php файлов одну строчку типа:

запрещаю все php кроме index.php - это можно как-то сделать или только по одному надо перечислять?

Яндекс точно, и скорее всего и иже с ним к своим служебным файлам обращаются напрямую, заранее зная их адрес, саповская папка у меня закрыта от индексации и работает.

Честное слово вы - герой... У меня строк 30 отсилы, благо все остальное по папкам распихано...

Mожно, например так:

Allow: /index.php
Disallow: /dir1/
...................
Disallow: /dirN/
Disallow: /*.php

ОЧЕНЬ ВАЖНО!!!!!!!!!!!!

Только один момент... Чуть не забыл, а это очень важно, секция Allow должна идти перед секцией Disallow... Гуглу на это начхать, а вот для яндекса это критично...