Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

12
Z
На сайте с 28.05.2011
Offline
5
zadrotoff
975

Имеется Игровой магазин по игре Lineage 2

Как грамотно прописать robots.txt для DLE. Я там частично убрал такие вещи как регистрация, коменты. Вот хотелось бы такого духа все занести в роботс, чтобы не индексировало

K
На сайте с 31.01.2001
Offline
737
Kost
#1

http://help.yandex.ru/webmaster/?id=996567 - сначала вам сюда.

И всегда приводите примеры конкретных урлов, которые надо закрыть.

Если опять просто дадите адрес сайта, получите 8 очков штрафа за спам.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#2

Для Линейки 2 нужен, наверное, особенный роботс.

А не зная что тебе нужно закрыть, совсем легко что-либо ответить.

palladin_jedi
На сайте с 13.07.2010
Offline
71
palladin_jedi
#3

http://lmgtfy.com/?q=dle+robots.txt

Сайт о web-разработке и прочем (http://seazo.net)||Продвижение статьями под Google (http://short.seazo.net/ght4zf) Бесплатные консультации рефералам Sape (http://www.sape.ru/r.SWfwWOblBo.php) PHP и JS скрипты на заказ, создание сайтов с нуля и на CMS.
Z
На сайте с 28.05.2011
Offline
5
zadrotoff
#4

Я сразу конкретно и написал, нужно закрыть

members

регистрацию

Только я не знаю как правильно это прописывается, поэтому и привел ссылку, которую удалили в первом топике, чтобы человек который хочет помочь мог зайти глянуть. http://zadrotoff.net/

Google отказался от эксперимента Google снова индексирует контент В Директе появилась возможность
Z
На сайте с 28.05.2011
Offline
5
zadrotoff
#5

Ну это все понятно.

Такой вопрос. Директиву Host надо повторять для каждого User-agent ?

Меня смутило вот это: http://habrahabr.ru/robots.txt

Достаточно серьезный ресурс, а ведь прописывает эту директиву для каждого бота (причем обратите внимание на название гугл бота, вроде он там по другому называется). Я взял с него пример, поставил так же себе в robots по аналогии, и тут мне яндекс вебмастер выдает ошибки о том, что этот host повторяется.

Так собственно вопрос. Кто-нибудь знает наверняка как быть ?

Вопрос по robots.txt Поругайте robots А действует ли сейчас
promomaniac
На сайте с 10.03.2011
Offline
160
promomaniac
#6

Для ДЛЕ оптимальный роботс. 

User-agent: Yandex

Disallow: /*print

Disallow: /user/

Disallow: /*user*

Disallow: /Images/

Disallow: /install/

Disallow: /favorites/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /tags/

Disallow: /upgrade/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Host: www.site.ru

Sitemap: http://www.site.ru/sitemap.xml
Меня смущает, что колода плохо перетасована, но лишь до тех пор, пока мне не придет хорошая карта. © Джонатан Свифт.
Z
На сайте с 28.05.2011
Offline
5
zadrotoff
#7

promomaniac

Да, это я и так видел в инете ) но меня интересует вопрос выше

promomaniac
На сайте с 10.03.2011
Offline
160
promomaniac
#8

zadrotoff, директива host прописывается для яндекс-бота. Писать для каждого робота не вижу смысла.

Z
На сайте с 28.05.2011
Offline
5
zadrotoff
#9

promomaniac, насколько я знаю (так прописывается в мануале яндекса), директива host идет отдельным сегментом и будет рассматриваться всеми поисковиками, не важно где она будет стоять в самом файле host

promomaniac
На сайте с 10.03.2011
Offline
160
promomaniac
#10

Тогда я не понял смысл вопроса.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий