По robots.txt

TyT · 2010-11-12T09:16:41.0000000Z

Добрый день есть ряд моментов которые хотелось бы уточнить, я почитал факи и разные сайты, смотрел разные конструкции роботса для google.com но так и не пришел к полному пониманию в некоторых вещах, которые и хочу уточнить. Вот скажем есть набор правил Disallow: /cgi-bin/ Disallow: /*? Disallow: /clickthru* Disallow: */webadvanced* Disallow: /baidu/ Disallow: */privacy* Disallow: */terms* Disallow: */startpage* Disallow: */bar* Disallow: */home/ Disallow: /search* Disallow: */search/ Disallow: */startpage/ Disallow: */explore/ Disallow: */images/ Disallow: */tool/ Disallow: */default/ Вопросы следующие, можно ли использовать 2 звездочки в одном правиле ? т.е. по маске до встречающихся символов и после введенных так же по маске до конца адреса ? Вот к примеру если мне надо закрыть урл http://www.domain.com/clickthru?h=91691c3a2d39b21095f744c4eafda346 в каком случае сработает исключение ? Disallow: /clickthru* Disallow: /clickthru/ Далее есть такой урл www.domain.com/ita/webadvanced&region надо закрыть все что будет начинаться на webadvanced как правильно создать исключения Disallow: */webadvanced* Disallow: *webadvanced* Disallow: /webadvanced/ И по правилам в начале, может есть какие то замечания или поправки ?

M

111

Maxoud

13 ноября 2010, 07:38

#11

Я ничего не парсил: ради 10 URL-ов нечего парсить. И, тем более, если так глубоко копать, то пришлось бы счет выставить :)

Выдачу не смотрел, смотрел только то, что видно на сайте через браузер (парсинг тоже в этом случае мало поможет). Просто установлен "Live HTTP Headers" и я вижу что отдает сервер. Подставлял адреса вручную и получал ответ.

Расстановка рандомная. Как видел, так и писал.

301 можно поменять на 404 или 403 в зависимости от пожеланий и целей (если нет внутрисайтовых ссылок с такими адресами).

Меня «порадовало» то, что при нескольких заходах на одну и ту же страницу я получал разное содержание (я понимаю там есть четыре ротируемых текстов). Это происходит на нескольких страницах, то есть они доставляют одно и то же. Поэтому я советую все те страницы, которые на данный момент выдают одно и то же, зафигачить (301) на один адрес, чтобы не возникало дубликатов.

Бесплатное хранилище данных (http://bit.ly/gJYy9Z) (5GB) с синхронизацией. По ссылке — бонус 500MB.

Как правильно сделать редирект, Google рассказал о том, Смешанные директивы: как Google

B

161

bober

13 ноября 2010, 20:05

#12

Maxoud:
/clickthru/ закрывает папку clickthru
/clickthru закрывает все, что начинается на clickthru
Исходя из этого астериски не нужны.

По правилам Google:

/clickthru/ закрывает папку clickthru

/*clickthru закрывает все, что содержит в урле clickthru

Исходя из этого астериски нужны.

/clickthru - такого синтаксиса в правилах Google нет, что оно закрывает - неизвестно.

96

LovelAss

13 ноября 2010, 20:16

#13

bober:
/clickthru - такого синтаксиса в правилах Google нет, что оно закрывает - неизвестно.

/clickthru равносильно /clickthru* и закрывает всё, что начинается с clickthru - такое правило есть не только в гугле, но и в других поисковых системах.

B

161

bober

13 ноября 2010, 20:23

#14

LovelAss, Вы бы прошли по ссылке в мануал Google и прочитали бы.

Если у Вас есть подтверждение того, что со звездочкой и без нее - равносильно, покажите, пожалуйста, откуда это известно.

Про другие поисковые системы речь здесь не идет.

Звездочки в Google News Google: кавычки не спасут Google: если скрытый контент

Зачем быть уникальным в мире, где все можно скопировать

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов