wayly: Киньте весь класс граббера с использованием прокси. Херня какая-то... По логике, не должно быть такого.
Здесь не класс, а простенький тестовый скрипт (выдает полный текст страницы, полученной от Google (чтобы было видно, какими словами послали) и выдергивает из нее PR).
С прокси из этого списка (которые high-anonymous proxy) все то же самое. С локали пропускает, а с сервера (забаненного) посылает. Причем некоторые прокси выдают каждый раз новый IP, и соответственно Google каждай раз посылает новый IP.
Посылает такими словами:
Your client does not have permission to get URL ... (Client IP address: 128.208.4.198)
Нет, сначала посылают только с забаненных. Но через некоторое время работы скрипта любой IP превращается в забаненный, и с него тоже начинают посылать.
wayly: Использовать анонимные прокси. А то, что называете анонимным - легко проверить. Вешаем на хосте принт переменной $_SERVER и гетим через курл с использованием прокси страницу.
Потом смотрим - светится ли тот прокси, который вы указали на вход :)
Заказывал автору копирайт двух статей. Остался доволен соблюдением сроков и качеством работы. Рекомендую.
На какой бюджет расчитываете?
у свеба самый дешевый вип - 1050 в месяц. эта цена бы устроила.
montanara добавил 13.07.2009 в 20:07
Здравствуйте!
Можете глянуть хостинг у меня в подписи.
у вас на хостинге нет подобных ограничений на загрузку процессора?
Заказывал еще один прогон -также все положительно. спасибо.
Заказывал прогон у ТС. Прогон сделан, общаться понравилось. Удачи.
Киньте весь класс граббера с использованием прокси. Херня какая-то... По логике, не должно быть такого.
Здесь не класс, а простенький тестовый скрипт (выдает полный текст страницы, полученной от Google (чтобы было видно, какими словами послали) и выдергивает из нее PR).
http://www.samair.ru/proxy/
список проксей обновляется каждый день
С прокси из этого списка (которые high-anonymous proxy) все то же самое. С локали пропускает, а с сервера (забаненного) посылает. Причем некоторые прокси выдают каждый раз новый IP, и соответственно Google каждай раз посылает новый IP.
Посылает такими словами:
Your client does not have permission to get URL ... (Client IP address: 128.208.4.198)
Я понял, что вас с любого IP посылают.
Нет, сначала посылают только с забаненных. Но через некоторое время работы скрипта любой IP превращается в забаненный, и с него тоже начинают посылать.
Вы некорректный запрос посылаете ;)
Снифферите тулбар.
В чем именно некорректный? Как я понимаю, на некорректный запрос Google посылал бы всегда, а не только с забаненного IP.
Использовать анонимные прокси. А то, что называете анонимным - легко проверить. Вешаем на хосте принт переменной $_SERVER и гетим через курл с использованием прокси страницу.
Потом смотрим - светится ли тот прокси, который вы указали на вход :)
По этим признакам прокси анонимный.
А у вас все это лежит на виртуальном хосте или на свойем сервере?
Сечас попробовал с разных хостеров запустить срипт (везде виртуальный хостинг) - всех отфуболили... Spaceweb, Masterhost, Peterhost, Agava.