Ко мне пришел индексатор яндекса.

AF
На сайте с 10.09.2003
Offline
46
801

тут конечно, много писалось об игнорирование яндексом роботса. Недавно несколько изменил роботс, с следствии необходимости:) :

User-agent: Mediapartners-Google*

Disallow:

User-agent: *

Disallow: /

так ко мне зашел яндекс!

Yandex/1.01.001 (compatible; Win16; I)

может быть я чего-то не понимаю, но данная конструкция должна запретить яндексу меня индексировать

:confused:

или может быть поможет какой-нибудь иной синтакс?

С уважением, Дима
K
На сайте с 31.01.2001
Offline
737
#1

Перед каждым User-agent пустую строку полагается ставить.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
ER
На сайте с 19.11.2002
Offline
107
#2

А кроме того всё, что для Яндекса, необходимо выносить выше остальных строк, а то тоже может не понимать.

dimok
На сайте с 08.11.2002
Offline
291
#3

AreaFix, а он скушал страницы то какие? может, он зашел, глянул robots.txt и ушел?

CLICKBAZA: есть траф - будут и деньги (https://clickbaza.com/)
AF
На сайте с 10.09.2003
Offline
46
#4

Kost, спасибо, поставил ентер,

но другие то к этому нормально относятся.

EvgRen, незнал, ну и яндекс :)

dimok, зашел, глянул роботся, затем заиндексировал главную (других там нет).

dimok
На сайте с 08.11.2002
Offline
291
#5

AreaFix, после апдейта посмотри, как окажется ли он в базе - может, зашел на страницу, но в базу не кидал.

K
На сайте с 31.01.2001
Offline
737
#6
Kost, спасибо, поставил ентер,
но другие то к этому нормально относятся.

The file consists of one or more records separated by one or more blank lines

Стандарт, однако.

Sir[MAI]
На сайте с 22.10.2002
Offline
147
#7

AreaFix, посмотри еще на свой роботс тут: http://kako.yandex.ru/cgi-bin/test-robots

С уважением, Сергей
AF
На сайте с 10.09.2003
Offline
46
#8

Sir[MAI], пишет

Индексация сервера мой.ru:80 запрещена полностью.

Sir[MAI]
На сайте с 22.10.2002
Offline
147
#9

AreaFix, значит правильно роботс написал! :) Остается злиться на непослушность робота Яндекса, про которую здесь неоднократно писали...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий