Следующий простой файл robots.txt запрещает индексацию всех страниц сайта всем роботам, кроме робота Рамблера, которому, наоборот, разрешена индексация всех страниц сайта.
# Инструкции для всех роботов
User-agent: *
Disallow: /
# Инструкции для робота Рамблера
User-agent: StackRambler
Disallow:
Википедия это самый клёвый пример хорошо перелинкованого дорвея..))))))))
Заказал ПС прогон, отправил задание, отправил деньги, уже второй день молчит....
подожду еще 2 дня если не ответит поставлю минус в репу...
inseonight добавил 13.03.2009 в 22:18
Беру свои слова обратно! ТС просто приболел и не смог вовремя всё сделать, прошу у него прощения за то что немного нагнал на него....
ТС молодца!
сделал прогон, несоврал, всё гуд!
Блог продан Бормалею за 40 wmz
Принято!, обговариваю детали...если продам отпишусь...
эээ опечаточка вышла...
Продю - продаю
Пока да, но можно и в сапу закинуть ;-)
Спс, буду ждать продолжения, заинтересовало не на шутку )
Заметил повышение позиций выдачи, пр пока не обновился, неделю назад вообще было затишье и бота небыло почти неделю в выдаче тож просел, а щяс чувствую вот вот будет апдейт
