Вопрос по robots.txt

12
doctor_buzzz
На сайте с 07.11.2007
Offline
40
#11

john2007, извини, что на ты

Не бойся делать то,что не умеешь. Помни - Ковчег построил любитель. Профессионалы делали Титаник...
П
На сайте с 24.02.2007
Offline
12
#12
У вас не настолько сложный robots.txt, чтобы еще и сервис натравливать.

Да это вообще не мой робот, я просто смотрю как умные люди делают роботов под IPB форумы.

Звездочки Яндекс и Рамблер не понимают, для них это такой же символ.

Т.е. строчки со звёздочками можно стирать?

john2007
На сайте с 26.03.2007
Offline
173
#13
doctor_buzzz:
john2007, извини, что на ты

На "ты" - не страшно, плохо что вопрос мой пропустили, а я так надеялся на ответ:

С чего Вы взяли, что одно правильно, другое нет?

Совершая ошибки, мы не только учимся их не повторять, но и учимся прощать такие же ошибки другим... (с)
Кротов
На сайте с 18.09.2007
Offline
113
#14
john2007:
На "ты" - не страшно, плохо что вопрос мой пропустили, а я так надеялся на ответ:

С чего Вы взяли, что одно правильно, другое нет?

Попробуйте написать в верхнем регистре, и у Вас это правило работать не будет.

погуглим?

http://www.oqbo.ru/read.php?block=3

один из примеров..

Светодиодная оптика для авто-мото техники
П
На сайте с 24.02.2007
Offline
12
#15

Ещё вопросик. Почему в базе яндекса пусто:

http://www.yandex.ru/yandsearch?serverurl=http://www.civfanatics.ru/

Может яндекс в принципе не хочет индексировать IPB и сам не индексирует нужные страницы, не воспринимая содержание форумов за контент, т.е. просто пропускает страницы, начинающиеся со слов index.php?showtopic=

?

Каширин
На сайте с 03.01.2004
Offline
1018
#16
Псих:
Вопрос такой:
Строка:
Disallow: /*&st=-5
Запрещает индексировать все адреса, заканчивающиеся на &st=-5
Т.е. * - это заменяет кучу любых символов в адресе (не один символ)?
И ещё вопрос:
Почему яндекс говорит, что
http://www.yandex.ru/cgi-bin/test-robots?host=www.civfanatics.ru
Данный файл robots.txt ничего не запрещает.
Хотя он вроди бы много чего запрещает.

Потому что стандарт запрещает использовать *

Только одна ПС допускает, но это не Яндекс :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий