Помогите составить Robots.txt

149

stasnokia

13 января 2009, 19:50

445

В Robots.txt к сожалению не разбираюсь, помогите пожалуйста составить robots.txt, самое главное это чтобы главным был домен с www, то есть www.site.ru, и закрыть от индексации всех поисковиков всех юзеров, то есть /user/тут-ник (Движок DLE). Заранее всем благодарен за любую помощь, и ещё, если не сложно, дайте ссылку на яндекс где описуется robots.txt - помню когда то читал, да ссылку потерял...Ещё раз всем зарание спасибо !

Ой, случайно не в тот раздел тему опубликовал...Если можно переместите в "Любые вопросы от новичков"

M

74

mavpa

13 января 2009, 20:01

#1

Использование robots.txt

3

blackstar

13 января 2009, 20:02

#2

Вот тут прочитай http://help.yandex.ru/webmaster/?id=996567

blackstar добавил 13.01.2009 в 23:04

mavpa:
Использование robots.txt

неловко получилось, в одно и тоже время добавили:)

Домен в зоне .ru за 99 рублей!!! (http://idomen.ru/3534/)

205

Цахес

13 января 2009, 20:08

#3

помогите пожалуйста составить robots.txt

User-agent: *

Disallow: /user/

Host: www.site.ru

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).

S2

611

Str256

13 января 2009, 20:11

#4

Цахес, вы меня опередили:)

Вот добавление от меня.

Проверить можно тут: http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)

149

stasnokia

13 января 2009, 20:58

#5

Всем спасибо огромное, тему можно закрывать !:)

Дзен реализовал для авторов возможность вывода денег через СПБ

Все что нужно знать о DDоS-атаках грамотному менеджеру