Отличная идея - давайте закроем этот форум! Пусть все сами думают!
"Скормите" - то есть зарегестрировать вручную эти страницы?
Хорошо, а если я увижу, что он скушал только 6 страниц?
А на остальных страницах никаких запретов нет?
В чем может быть причина?
И что? Вот я узнаю, например, что он скушал 500 страниц. Но в базе-то все равно только 6!
Уже отправил...
И все-таки? Что я там такого могу увидеть, в логах-то?
Логи пока не могу смотреть...
А в чем ошибка в robots.txt& ;)
Да мне кажется, даже неважно, что там написано - фак в том, что в базе Яндекса страниц нет!
спасибо, все понял!
толка не будет, а вред будет?
А реальна ли такая практика - запрещение для поисковиков просмотра некоторых страниц в целях увеличения Page Rank и вообще повышения концетрации каких-либо слов на сайте. То есть, например, зная что на некоторых страницах слово "кроссовки" не используется, я их закрываю для робота, тем самым повышая концетрацию слова на сайте и соответственно релевантность. Или релевантность от этого не повыситься? Или все что я написал - бред больного программера? :)
И все? :)) Так просто? Я думал, что тут какой-то хитрый умысел :)
