Внимание синтаксис robots.txt

webcat
На сайте с 19.10.2005
Offline
137
#31

kimberlit - если я правильно вижу товарищ нелогично свой роботс составил - ; - а теперь возмущеццо

Опс. Kirik опередил

T
На сайте с 30.01.2006
Offline
109
#32
sirota77:
Allow: /*/*.xml
Disallow: /*.xml

из robots.txt гугла

Disallow: /toolkit/

Allow: /toolkit/*.html

я думаю у вас в гугле тоже все должно работать

Гугл учит терпению!
sirota77
На сайте с 08.09.2008
Offline
161
#33
Kirik:
вы сами понимаете смысл?
или пятниЦО?

Нет, пятница тут не при чём. Я в третий и последний раз повторяю:

файл сложный

в результате проверки в я вебмастере что нужно запрещено, что нужно разрешено

в индексе яндекса всё как нужно

в результате проверки в инструментах гугла, разрешено то что не нужно в индексе

кто накосячил я не знаю

ewg777
На сайте с 04.06.2007
Offline
225
#34
orphelin
На сайте с 02.07.2006
Offline
261
#35

sirota77, вы слишком доверяете вебмастеру яндекса. они и с простыми правилами ошибки делает.

ks_dp
На сайте с 26.01.2009
Offline
126
#36
sirota77:
Нет, пятница тут не при чём. Я в третий и последний раз повторяю:
файл сложный
в результате проверки в я вебмастере что нужно запрещено, что нужно разрешено
в индексе яндекса всё как нужно
в результате проверки в инструментах гугла, разрешено то что не нужно в индексе
кто накосячил я не знаю

Вы для Яши отдельный роботс делали? Точнее разрешения и запреты?

!
ewg777
На сайте с 04.06.2007
Offline
225
#37
Нет, пятница тут не при чём. Я в третий и последний раз повторяю:
файл сложный

Поздравляю. На этом может закроем тему?

ewg777 добавил 09.04.2010 в 12:13

Disallow: /*.xml
The "*" wildchar in file names is not supported by (all) the user-agents addressed by this block of code. You should use the wildchar "*" in a block of code exclusively addressed to spiders that support the wildchar (Eg. Googlebot).

Если после 35-го поста не прояснилось.

sirota77
На сайте с 08.09.2008
Offline
161
#38
ewg777:
Если после 35-го поста не прояснилось.

Вот где собака порылась !

sirota77 добавил 09.04.2010 в 12:19

ewg777, спасибо, я как и большинство здесь присутствующих этого не знал.

B
На сайте с 07.02.2005
Offline
161
#39
webcat:
Но при этом очень боиЦЦо

Да, это вот точно. ) Он понимает, что безграмотность станет всем видной, в том числе и работодателю.

Kirik:
какая разница в понятиях кроме хоста

Разница есть - в директивах, запрещющих урл по части символов, в нем содержащихся (использование символов * и $).

http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449

http://help.yandex.ru/webmaster/?id=996567

bober добавил 09.04.2010 в 19:52

sirota77:
я как и большинство здесь присутствующих этого не знал

как Вы лихо всех присутствующих к себе приравняли...

Willie
На сайте с 08.10.2008
Offline
200
#40
sirota77:
Повторяю: в файле есть части урлов, с помощью inurl:"инфа из роботса" элементарно выяснить домен.

Во дает...

Я не могу даже представить, как может быть РОБОТС "очень сложный". Во-вторых, а подставить вместо Вашего домена site.ru - не судьба? 30 секунд в Блокноте - и замена произведена.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий