Неправда. Я попал, но критикую
В Яндексе при попыике добавить через http://www.yandex.ru/addurl.html страницу с забаненного сайта выдается следующий текст:
Какой поисковик интересует?
Ого! А она есть в открытом виде? И если нет, то, что нужно, чтобы получить к ней доступ? Выпить пивка с Коваленкой? :)
А Вы никогда не пробовали искать что-нибудь редкое и конкретное, получая в выдаче всего несколько страниц (PR которых, как правило, низок)? Так вот, при предлагаемом Вами подходе, на подобные запросы выдача вообще будет пуста. Я не думаю, что это понравится пользователям.
Эти-то (за исключением Yahoo) - да. Но есть игроки и помощнее - MSN Search и Ask Jeeves, например.
Я думаю, количество поисковых запросов в Yаhoo ненамного утупает количеству поисковых запросов в Гугль. А интересно, откуда взята цифра в 200 млн. поисковых запросв в Гугль и что имеется в виду - запросы только в Гугль, или же запросы в сам Гугль плюс запросы на сайтах, использующих его базу (в тот же Yahoo, к примеру)?
Для начала проанализируйте структуру и навигацию сайта. Сможет ли робот найти и проиндексировать нужные страницы? Нет ли редиректов, ссылок на ява-скрипте, идентификаторов сессий в адресах страниц и прочей дребедени.
Наверное, очередной сломанный копир его доконал... Он же копиры починяет
Кажется, пошла перекачка на www с техсерверов. Наблюдаю уже в логах приходы с новых результатов поиска (хотя у меня еще на www старьё и новые результаты вижу только на техсерверах). Обычно америкосы первыми видят новые результаты на www.
А что тут комментрировать? Если хочешь что-то запретить - выкладывай robots.txt с соответствующими директивами, если ничего не хочешь запрещать - то он и не нужен вовсе.
