Помогите с robots txt

http://robotstxt.org.ru - тут по-русски.

Этот файл нужен, если вы хотите наоборот, закрыть часть страниц от индексации.

http://help.yandex.ru/webmaster/?id=996567

http://www.google.com/support/webmasters/bin/answer.py?answer=40362

Ну а свой пример сможешь сделать как бы ты сделал?Чтобы яндекс и гугля проиндексировала все страници

Jadik, роботс не разрешает, роботс запрещает. Если Вы не нужно ничего закрывать от индексации, то вообще роботс можно не вставлять. Ну, или максимум хост прописать:

User-agent: *

Host: url Вашего сайта (без http://)

Так это просто создать txt файл прописать User-agent: *

Host:url

сохранить файл,загрузить в корень сайта и все?

Ну вообщето да.

Создаете robots.txt и кидаете в корень сайта.

Правда т.к. дерективу host понимает только яндекс то теоретически правильно так:

User-agent: Yandex

Disallow:

Host: www.site.ru

User-agent: *

Disallow:

Обратить внимание на то что вы хотите считать главным зеркалом www.site.ru или site.ru

ТС зайдите сюда http://pr-cy.ru/robots, вообще там много тулз полезных есть...

что-то я не понимаю,а для чего надо было вписывать Host:www.site.ru

если у меня другой урл сайта?

Jadik добавил 07.04.2008 в 02:20

Хм интересная вещь

Вписал свой хост,не устанавливал галочку Запретить индексацию

нажал сгенерировать и что получилось

Host: урл

User-agent: *

Disallow: а что сюда вписать?

И это все гугл проиндексирует?Можно создать тхт и грузить на сервак

Disallow запрещает индексацию тех или иных разделов или страниц, если ничего не хотите запрещать к индексации, то ничего и не надо вписывать

да :)

Просто прописать Disallow и оставить пустым да?

А ка вы думаете,яндекс быстро проиндексирует сайт?