- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В общем, задача такая.
Мы планируем создание региональной поисковой системы и имеем на руках начальный список сайтов, которые надо проиндексировать. Всего порядка 400.
Хотелось бы узнать объем трафика, который надо будет перекачать для создания первичного индекса. Единственный, на мой взгляд способ оценки -- использовать уже существующие российские поисковики.
Яндекс выдает только количество известных ему документов. Умножать на 'среднестатистический' размер документа не хочется.
Кто-нибудь может посоветовать что-то дельное?
Спасибо.
Без "среднестатистических" значений не обойтись...
Для каждой найденной страницы в результатах поиска указывается ее размер в килобайтах. Вы можете с отобранных Вами сайтов скачать первые страницы (это даст уже какое-то число байт) и собрать адреса ссылок с этих страниц. Потом из полученного списка адресов случайным образом отбирается какое-либо подмножество и также скачивается, что дает второй объем. Первый объем может дать вам средний размер начальной страницы, если его поделить на число сайтов. Второй - средний объем внутренней страницы (если поделить на число отобранных страниц). Дальше, отталкиваясь от этих чисел и ориентировочного числа страниц на каждом сайте, можно приблизительно посчитать трафик...
Это понятно. Я примерно это и имел в виду, когда говорил про 'среднестатистическое'.
Значит точно посчитать -- не судьба?
можно пройтись по списку запросами типа HEAD и посчитать ...
Динамические сайты (99%) не отдают размер документа по HEAD
Это будет работать только если все на статичном html сделано.