Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

[Удален]
461

Вот скажите мне, стоит ли в сабже полный запрет на индексацию?

User-agent: Yandex

Sitemap: http://por-tal.ru/sitemap.xml

Disallow: /panel/

Disallow: /admin/

Disallow: /secure/

Disallow: /informer/

Disallow: /mchat/

Disallow: /search/

Disallow: /por-tal.ru/?*

User-agent: Google

Sitemap: http://por-tal.ru/sitemap.xml

Disallow: /panel/

Disallow: /admin/

Disallow: /secure/

Disallow: /informer/

Disallow: /mchat/

Disallow: /search/

Disallow: /por-tal.ru/?*

User-agent: *

Host: por-tal.ru

А то яша говорит: мол я был на сайте, но стоит полный запрет в файле сабж на индексацию. Где?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#1

Роботс убогий до безобразия. Почитай хоть хелп Яндекса и другие мануалы.

The WishMaster
На сайте с 29.09.2005
Offline
2542
The WishMaster
#2
tsaruk24:
А то яша говорит:

Где говорит? В аддурилку сайт добавляется, запрета нет.

kimberlit:
Роботс убогий до безобразия. Почитай хоть хелп Яндекса и другие мануалы.

Это укоз :)

Кому старенького креативного копирайтера? Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
[Удален]
#3
The WishMaster:
Это укоз

Да это юкоз.

Я правильно понимаю, что полного запрета нет на индексацию?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#4
tsaruk24:
Я правильно понимаю, что полного запрета нет на индексацию?

http://webmaster.yandex.ru/robots.xml

[Удален]
#5
kimberlit:
http://webmaster.yandex.ru/robots.xml

тут он пишет, что все ок.

Я так понимаю индексацию я запретил тут: Disallow: /por-tal.ru/?*

но у меня дубли так начинаются, как мне их запретить тогда?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#6
tsaruk24:
Я так понимаю индексацию я запретил тут: Disallow: /por-tal.ru/?*

Ты плохо всё понимаешь.

[Удален]
#7
kimberlit:
Ты плохо всё понимаешь.

Я старюсь понимать все нормально. Просто эту директиву:

Disallow: /por-tal.ru/?*

я внес в файл вчера, до этого момента в вебмастере не было сообщения типа:

13.02.2012 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру.Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней.

Хотя примерно 4 дня назад на самом деле в фале был запрет на индексацию сайта для яши. Но он был снят.

Подскажите что делаю не так.

Яндекс внес изменения в Google установил ещё более Google изменил свой подход
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#8

Директива Disallow: /por-tal.ru/?* закрывает адреса http://por-tal.ru/por-tal.ru/?bla-bla. Весь сайт она не закрывает. Вебмастер написал эту фигню на изменения четырёхдневной давности. Просто как чукча в космосе: накорми собак и ничего не трогай.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий