Помогите новичку! robots.txt как будет правильно...

12
bakytbek
На сайте с 07.08.2007
Offline
97
705

Здравствуйте!

Сразу скажу что я новичек, если не туда написал, прошу админа перенести туда куда надо.

Дело в том, что недавно я добавил в корень сайта файл robots.txt где внутри было:

User-agent: Yandex

Disallow: /

После чего сайт вообще пропал из поисковика абсалютно по всем позициям. Насколько я понял позже что именно в этом способствовал "Disallow: /" со слешом это получается "запрет на индескацию всего сайта"

А если "Disallow:" без слеша то получается "разрешить индексацию всего сайта"

Подскажите правильно я сделал или нет? Или есть еще какие-товарианты?

Алексей Барыкин
На сайте с 04.02.2008
Offline
272
#1

http://robotstxt.org.ru/ - Все о файле robots.txt по-русски

http://help.yandex.ru/webmaster/?id=996567 - Использование robots.txt с точки зрения Яндекса

по сабжу:

Отсутствие параметров у директивы Disallow трактуется как Allow: /

P
На сайте с 02.06.2009
Offline
14
#2

Да, и Алексей не добавил, Allow: / - неверная конструкция, он ее привел для наглядности и упрощения понимания Вами, ТС, сущности понятия, видимо. Есть только Disallow параметр, на Allow: / поисковик не отреагирует позитивно, приняв Ваш роботс за невалид, и обращать на него внимание вообще не будет.

Цахес
На сайте с 15.03.2007
Offline
205
#3
profiwebmasterforyou:
Есть только Disallow параметр, на Allow: / поисковик не отреагирует позитивно

C добрым утром!

Все поисковики (пожалуй кроме Рамблера) понимают директиву Allow!

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
[Удален]
#4
profiwebmasterforyou:
Да, и Алексей не добавил, Allow: / - неверная конструкция, он ее привел для наглядности и упрощения понимания Вами, ТС, сущности понятия, видимо. Есть только Disallow параметр, на Allow: / поисковик не отреагирует позитивно, приняв Ваш роботс за невалид, и обращать на него внимание вообще не будет.

Записать в отжиги, что ль? 🙄 (хотя все мы бредим иногда - бывает ;))

R
На сайте с 30.05.2007
Offline
163
#5

http://bdbd.ru/robots.txt

😮

с www. по-другому.

Цахес
На сайте с 15.03.2007
Offline
205
#6
ruslg:
http://bdbd.ru/robots.txt

Почитайте про зеркала сайтов. ;)

[Удален]
#7
Цахес:
Почитайте про зеркала сайтов.

И то верно. Хотя, по-моему, это всё равно лишнее... 🙄

K
На сайте с 31.01.2001
Offline
737
#8
ruslg:
http://bdbd.ru/robots.txt

http://www.bdbd.ru/robots.txt - у них зависит от домена, решение проблемы зеркал для любого поисковика.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
R
На сайте с 30.05.2007
Offline
163
#9
Kost:
http://www.bdbd.ru/robots.txt - у них зависит от домена, решение проблемы зеркал для любого поисковика.

Я заметил. Хорошее решение.

bakytbek
На сайте с 07.08.2007
Offline
97
#10

Сегодня я получил ответ от Яндекса:

"Здравствуйте!

Ваши сайты пропали из поиска, так как их индексирование было запрещено в

robots.txt. Так как сейчас индексирование разрешено, сайты должны вернуться в

поиск по мере обхода робота. Скорее всего, это произойдет в течение двух

недель."

Хотел бы узнать мнение опытных сеошников. Сайты вернутся именно на свои старые позиции или изменятся?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий