- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сразу оговорюсь - уверен, что данная тема не раз поднималась на форуме, но хотелось бы узнать как сейчас наиболее удобно решить данный вопрос.
Перед фирмой стоит задача - написать сервис, который выдавал бы результаты по позициям сайтов клиентов. Значит надо парсить Яшу (бесплатный xml - не вариант, слишком мало запросов дозволено).
Хочется определиться со способом.
Читали, что кто-то делает ретранслятор Яндекса на каком-то левом хостинге (скажем, запрос через curl, рандомный user-agent). И его уже парсит со своего сервера через рандомные промежутки времени (скажем, в пределах 30 секунд). Если банят - то просто переносят ретранслятор на др. хостинг (задача минут 30), но банить должны по логике не сразу.
Другой вариант (и думаю более широко используемый) - прокси. Но тут свои вопросы - надо постоянно где-то выуживать работающие (конечно, как вариант можно купить какой-нить скрипт, что будет сам выдавать списки, но всё же это лишние хлопоты и затраты).
Так же наверно возможны какие финты, если поместить подобный сервис на сайт в рекламной сети Яндекса и соответственно пользоваться радостями бесконечного кол-ва запросов к xml. Но ведь сервис закрытый и накликивать толком из него ничего не будут (только с сайта) и думаю есть большая опасность, что быстро выгонять из рекламной сети, что не есть хорошо.
Хотелось бы услышать комментарии по этим способам или может быть что-то упущено?
Сразу оговорюсь - уверен, что данная тема не раз поднималась на форуме, но хотелось бы узнать как сейчас наиболее удобно решить данный вопрос.
Перед фирмой стоит задача - написать сервис, который выдавал бы результаты по позициям сайтов клиентов. Значит надо парсить Яшу (бесплатный xml - не вариант, слишком мало запросов дозволено).
Хочется определиться со способом.
Читали, что кто-то делает ретранслятор Яндекса на каком-то левом хостинге (скажем, запрос через curl, рандомный user-agent). И его уже парсит со своего сервера через рандомные промежутки времени (скажем, в пределах 30 секунд). Если банят - то просто переносят ретранслятор на др. хостинг (задача минут 30), но банить должны по логике не сразу.
Другой вариант (и думаю более широко используемый) - прокси. Но тут свои вопросы - надо постоянно где-то выуживать работающие (конечно, как вариант можно купить какой-нить скрипт, что будет сам выдавать списки, но всё же это лишние хлопоты и затраты).
Так же наверно возможны какие финты, если поместить подобный сервис на сайт в рекламной сети Яндекса и соответственно пользоваться радостями бесконечного кол-ва запросов к xml. Но ведь сервис закрытый и накликивать толком из него ничего не будут (только с сайта) и думаю есть большая опасность, что быстро выгонять из рекламной сети, что не есть хорошо.
Хотелось бы услышать комментарии по этим способам или может быть что-то упущено?
mail.ru парсить нужно
(скажем, запрос через curl, рандомный user-agent)
Быстрый бан.
(и думаю более широко используемый) - прокси.
Анонимные - яша не пускает, закрытые, замучаетесь создавать, ибо читайте выше.
бесплатный xml - не вариант, слишком мало запросов дозволено)
Единственный разумный вариант.
1000 в сутки - это уйма.., если подходить с головой (ведь апы не ежедневно) и , не забывайте, что это для одного IP. А получить 64-128-256 IP - это как 2 пальца об асфальт (если конечно фирма - это не я + мой однокласник). И еще - читайте внимательней правило пользования XML.... О 1000 в суки уже давно речь не идет.
mail.ru парсить нужно
банят так-же
А вот, кстати, сразу вопрос. Если Яндексу платить какую-то сумму рублей в месяц за то, что бы он предоставил неограниченной количество запросов по XML? Это реально?
Есть еще вариант - делать запрос с помощью ajax , получается , что запрос будет идти с клиента, с реальными данными. Тогда можно и с помощью Yandex.XML, т.к. 30 000 на клиента нормально.
А вот, кстати, сразу вопрос. Если Яндексу платить какую-то сумму рублей в месяц за то, что бы он предоставил неограниченной количество запросов по XML? Это реально?
Как договоритесь.
deepslam,
Ощущение такое, что Вы слышали тольок красивые слова - ajax, xml, но очень туго понимаете как это работает.
Запрос всеравно придется формировать с сервера, в т.к. для xml нужно регить IP.
Это реально?
Да
T.R.O.N, почему формировать с сервера? Если сделать запрос с клиента, получить код html и уже на свой сервер отправить? Это реально, поверьте.
Получить либо html код, если к обычному яндексу запрос, либо xml, если к Яндекс.XML
T.R.O.N, почему формировать с сервера? Если сделать запрос с клиента, получить код html и уже на свой сервер отправить? Это реально, поверьте.
Про политики безопасности браузера слышали? В частности same origin...
Идея с ajax - интересная. Но есть ограничение технологии под названием "сервер-источник". Код ajax клиента не может работать как с локальной файловой системой, так и не может устаналивать сетевое соединение ни с одним сервером за исключением того, откуда был скопирован. Выход ставить на свой сервер некую "прокси", которая общается с веб-сервисами, но тогда вы не получаете разные IP ( что и было основной целью )