FlyAway, спасибо за разъяснения.
Я вот только что вот, что заметил, как же мне описать в robots.txt страницу с парметрами /cat/?catalogue=&status=, т.е. запретить надо все тсраницы где есть 'status', если catalogue= может иметь разные значения (например ?catalogue=123 или ?catalogue=proverka).
Вот например что-то типа * можно здесь применять (/cat/?catalogue=*&status=, )?
Bomass, я ненайду где, можете привести кусочек кода.
Мне непонятно как описать такую строку /cat/?catalogue=&status=
или надо писать ?catalogue=&status=Delete и ?catalogue=&status=No, т.е. описывать каждое значение параметра, или написать ?catalogue=&status=*
Вот как? Где там написано.
FlyAway, спасибо я вобщем-то понял.
Но вот я например не хочу, чтобы пользователь знал какие у меня есть некоторые папки запрещенные, чтобы он их в robots.txt не мог увидеть.
Вот если например есть папка /catalog/ и в ней много подпапок и файлов. чтобы мне запретить все ее содержимое, мне надо в каждом файле описать мете-теги соответсвенно или есть какие-то варианты.
А ВОТ ЕЩЕ ТАКОЙ ВОПРОС.
Вот например в robots.txt, стоит запрет на индексацию каталога /catalog/
Я так понимаю, что поисковики могут только проиндекировать те страницы на которые есть ссылка с любой другой проиндексированной страницы сайта (например с главной), то если на эту папку нет ссылок с других страниц, то поисковик ее не проиндексирует, т.е. в robots.txt ее можно вообще не указывать?
Kostya, спасибо за совет, как-то не обращад внимание на эту форму.
FlyAway, спасибо за ссылку.
Спасибо большое за ответы.
Читать хелп вы имеете в виду это http://www.yandex.ru/info/webmaster2.html
Что нужно писать User-Agent: *, это я понимаю, спасибо.
У меня есть руквовдство, но про параметры не у меня не у яндекса ненаписано.
Я все боюсь, что Disallow: /cat/?site=&status= , может запрещать вообще всю страницу.
Ну я тоже подумал использовать мета заголовки:
Чтобы: <META NAME="ROBOTS" CONTENT="NOINDEX"> выводилось, когда идет параметр status
А вы кстати не занете таких скриптов, которые например показывают правильсность составления robots.txt, я один такой нашел, но он не работает: http://kako.yandex.ru/cgi-bin/test-robots?host=http://
Очень было бы удобно проверить правильность работы файла.
А мне кстати NOFOLLOW как раз нужен, чтобы ссылки со страницы не индексировал (они прямые, а он их не индексирует) - это страница недобросовестных сайтов.
Что вы имеете виду, я вас не понял.
Спасибо за совет.
Я не кого не упрекаю, не подумайте.
Мне в начале подсказали, я рад.
А у меня даже за 50$ не взяли проект, потому что сказали что на его домене есть магазин.
Т.е. я регестрировал проект www.name.ru, а мне сказали, так как у вас есть magazin.name.ru, то ваш проект www.name.ru мы можем зарегетсрировать за 250$.
ТУПОСТЬ.
Так, что буду регистрировать magazin за 250, а другой за 40, ждать несколько месяцев нет времени.
Avatar, спасибо за ответ.
Но я вас вообще не понял. Ну ладно.
От темы отошли далеко.
