robots.txt

раз уж тема про robots.txt , то напишу свою хистори небольшую , заодно может и советом поделитись

Вообщем есть саит N1 ( страниц в поиске ( в основном) было 60-65 % , 7 ноября вечером занимался саитом n2( залил на домен 2005 года , на нем до этого была галерея , фотки с универа ( задания , решения и тд и тп , домашние фотки и тд и тп , вобщем фото помойка ))

ближе к ночи стал прописывать роботс.тхт ... и млять =) прописал в роботс.txt адресс sitemap на саит n1 ... спустя два дня все старницы саита n1 вылетели в сопли .. , а саит n2 до сих пор не проиндексировался ( раньше , все влетало в индекс в течении нескольких часов ) ,

заметил свой касяк только вчера вечером =) , теперь сижу жду когда все в индекс влетит ... ( морда в индексе , а все остальное нет .. ) , теперь сижу и задаюсь вопросом " что делать ?"

Пока ответ есть только одни - ждать , но может у кого то есть другие предложения ?

upd спустя час , пол саита ( домен 2005 года) влетело в индекс ..

Сравнение с 4-ногим другом это ваша манера указывать на ошибку?

А по теме, если бы вы были в компетенции этого вопроса, то поправили бы меня со слешем (привык делать урлы страниц со слешем на конце) а не писали бы бред.

Правильно будет так:

Disallow: /script.php?a

Allow: /script.php?a=1$

Allow: /script.php?a=2$

Allow: /script.php?a=3$

Allow: /script.php?a=4$

...

Allow: /script.php?a=1000$

Где написано что больше 35К robots.txt игнорируется?

А если надо разрешить индексировать документы с 1 до 5000 как тогда быть?

Еще вопрос в начале пишется Allow или Disallow или нет разницы?

Сначала Disallow

Да, и Agressive_Pig тему подсказал.

Откуда такое правило?

Ну если вы не против, то мне так больше нравится,

хотя на самом деле без разницы :)

По логике вещей начинать лучше все же с Allow да и пример таким образом есть http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449

Ок, уговорили :)

Первым прописываем Allow.

От конкретных условий всё зависит. Что вы глупости с порядком придумываете.

вопросик такой есть, не хочется новую тему создавать.

Если я в роботсе указываю дериктории, которые хочу оставить к индексации

перечисляю их череp Allow: /блабла/, в конце беру и ставлю Disallow: / - все остальное в мусорку но главная страница обычно выступает георедиректом вида domain.com/rus - как прописать главную страницу в роботсе ?, т.е. саму domain.com