Нужен отдельный сервер. Но это стоит того из-за мощнейшей статистики Битрикса и возможности подстраивать портал под разные источники посетителей. Плюс у Битрикса очень хорошая команда.
То, что говорите Вы - теория. Реальные медиаизмерения не выявили роста известности ни от банерной рекламы, ни от контекстной. Исключение - точнейшие измерения Atlas на сотнях тысяч покупок, где удалось померять очень маленький эффект изменения конверсии для тех, кто ранее видел банер.
P.S. Давайте отделять наши гипотезы от прямых измерений.
Сразу видно умных рекламодателей.
С шальными абузами бороться можно и на уровне хостера, когда проект у тебя белый, список адресатов длинный и есть ссылка в письме. Хостеру же очевидно, что случайность. Тем более при решении проблем за мой счёт. Вопрос в том, что делать с подставами?
Зачем 10-20 долларов? Доларов 200-300 или 5-10 кратная прибыль с сервера. :D Сервер один, а прибыль как с 10 :D
Количество страниц в индексе есть у них на главной странице. информация о количестве серверов была в публичном доступе и может уже устарела. Причём подлном количестве серверов: с учётом краулеров, народ.ру, поисковых серверов и пр. барахла.
Давайте считать реальную скорость обработки страниц. Обработка состоит из:
1. Выдирания всех ссылок с анкорами.
2. Выбрасывания всех тегов.
3. Обработки оставшегося текста стемкой.
4. Перевода стем-текста в последовательность чисел.
5. Подсчёт плотности слов.
6. Укладывание данных в базу.
7. Добавление данных о странице в индекс.
Для определённости, слова будут обрабатываться не морфологией, а стемкой. Это около 100 тыс. слов в секунду на моём ноуте (Селерон М). На хорошей странице в вебе обычно 2-3К слов. Это примерно 15К чистого текста или 25К html.
1. Выдирание всех ссылок с анкорами.
100 ссылок ~ 10^(-4) сек.
2. Выбрасывание всех тегов.
Один проход, так как надо выбросить скрипты и комментарии ~ 10^(-4) сек.
Один проход, так как теги ограничены символами '<' и '>' ~ 10^(-4) сек.
3. Обработка оставшегося текста стемкой.
3К слов / 100К слов/сек ~ 1/30 сек.
4. Перевод стем-текста в последовательность чисел.
Используем BerkeleyDB ~ 100К чтений слов в сек (база помещается в память) ~ 1/30 сек.
Используем однозначный хешь ~ 10^(-4) сек
Используем BerkeleyDB ~ 60 Мб/сек ~ 3*10^(-4) сек
Однопроходный алгоритм, зависит от размера индекса и определяется скоростью работы с жёстким диском ~ 60 Мб/сек. Подсчитать на пальцах трудно, так как здесь всё зависит от способа хранения данных, количества памяти и режима пакетной обработки.
Итого, без пункта 7, скорость обработки страницы ~ 1/15 сек - вот минимальная скорость обработки типичных страниц на моём бедном селероне. Это раз в 50 быстрее, чем у Ваших программистов.
Я говорю отдельно о времени работы прокси и отдельно о времени вытаскивания 100 ссылок с каждой из 100 скачанных страниц. Безусловно, без прокси скачка была бы быстрее. Но скорость выдирания данных это бы не изменило. Думать о том, сколько времени займёт правильное распарсивание страницы, подсчёт плотности слов и складывание данных в базу даже не хочу. Оценочно - 1 секунда на страницу.
Гоните в шею программера. Яндекс при такой скорости переиндексировал бы Рунет со своими 70 серверами раз в 3,6*3 млрд. док/70 серверов/86400 сек/сутки = 1800 суток ~ 5 лет.
Это будет, безусловно. Один клик и человек отписался. От этого защиту найти можно. Что делать с профи-абузерами от конкурентов? Или тем же спамом: проспамить Москву можно всего за 100 баксов. Проспамить 10 своих адресов за 10 баксов, с учётом времени написания письма и 10 абуз-репортов в ДЦ.
http://www.turtle.ru/db/architecture/
