Форум Поисковые системы Яндекс

Игнорирование robots.txt

12
garamond
На сайте с 21.11.2006
Offline
84
garamond
#11

подскажите: Crawl-delay

Яндексу по барабану?

Я даже не представляю, что должен сделать мой сын, чтобы я ему сказал, что в молодости я себе такого не позволял.
FishB1
На сайте с 15.10.2006
Offline
75
FishB1
#12

garamond да, эта инструкция только для Slurp, на сколько помнится

С уважением, Евгений Г.
mstar
На сайте с 19.12.2005
Offline
133
mstar
#13

Всем спасибо:

A.I.:
а за что форум в игнор-то?
имхо от форумов масса пользы

Не спорю, польза бы была, если бы было кому модерировать - а так спам ~ 99%. Мне как разрабитчику просто некогда этим заниматься - вот и закрыл форум, чтоб сайт за спам не наказали.

А остальные строки оставил на случай если будет кому модерировать форум.

На счет синтаксиса - просто поленился его досконально изучать. Все по привычке сделал - в https://www.google.com/webmasters/tools/ проверил: все работает. Ну и оставил.

А оказалось - не все так просто в конфиге robots.txt

Разработка сайтов (http://www.mstarproject.com/?action=tecdoc_mysql_site) - удобные веб приложения по разумной цене.
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий