я пишу сейчас свой парсер выдачи, в течении месяца намерен выпустить на бета тестирование скромное пока ядро, и то, о чем вы говорите - вполне укладывается в мои скрипты. Но! Прежде чем бросаться в бой, давайте проясним (все таки изложение да, немного сумбурное получилось:)
Я правильно понимаю, механика следующая:
берем ключевик (множество ключевиков)
парсим по ним ТОПХ
парсим контент страниц ТОПа
составляем частотный словарь
... вот здесь вопрос - дальше что? Т.е. полученный словарь имеет ценность сам по себе или же его надо готовить дальше?
потому что это дубли. У вас по разным адресам одна и та же страница с точки зрения гугля.
вижу страницы в индексе, на которых присутствует хоть какой то осмысленный текст. Вы хотите что бы гугль индексировал "В данной категории пока нет объявлений"?
Коммерция, Москва и область - ссылочное не работает, не? По регионам ссылки толкают а в белокаменной толкалка маленькая. Как вариант.
В броузере вы в один поток смотрите, а проги в сколько потоков жрут? Может хостинг слабенький?
Спасибо за ответы, пошел зреть к покупке :)
Ок, а ваш гигабит от провайдера - гарантированный или тоже расшаренный. (вопрос без подтекста, интерес не праздный)
Ок, с этим понятно.
ну так вы откуда знаете, чем в это время ваши соседи занимались. Попробуйте взять для разминки десяток персональных, погоняйте их в том же режиме - там видно будет, в этом причина или нет. Тут на серче видел пару предложений, в обоих можно платить не за месяц а за 10 дней, этого дост аточно для того что бы сделать выводы.
P.S. соседи тоже могли ничем криминальным не заниматься, но если десяток соседей так же парсят гугль - то получается тайм ауты ВСЕМ надо увеличивать минимум в десять раз (по факту - раз в 15), но никто же этого не делает :)
прокси индивидуальные или расшаренные? тайм аут какой между запросами? Запросы пустые или имитируете сессию? Юзер агент какой? Все время один или меняете? регионы как отбиваете?
В общем суть одна - надо притвориться пользователем. На каком этапе гугль понимает, что вы не пользователь.
Не подскажете, какой канал я получаю, покупая тот или иной пакет?
