- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
1. Оценивать стоимость парсинга только по кол-ву запросов неправильно, нужно еще смотреть на сами запросы и глубину. Как минимум, не помешает классификация на "естественные" и "технические".
2. Насколько такая сеть будет устойчива к накруткам? Что помешает юзеру просто выдавать рандомные результаты и брать за это деньги? Чисто физически все запросы перепроверять будет дорого. Вообще, есть проблема доверия к данным, полученным таким образом.
3. Проблема приватности - палим запросы потенциальным конкурентам
4. Нет никаких реальных гарантий доступности сервиса - после апдейта всем может понадобиться срочно глянуть позиции и система окажется загружена почти на 100%. В неподконтрольной децентрализованной сети невозможно даже гарантировать аптайм всех критичных для работы узлов (пример - аварии Skype в 2010, из-за которых архитектуру пересмотрели).
5. XML не может заменить парсинг выдачи, по крайней мере на данный момент (по причинам, указанным ранее в данной теме, а также невозможностью глянуть некоторые недокументированные параметры).
Да, капчи стали падать чаще, но лучшим лекарством от этого будет доработка парсеров, чтобы их поведение было сложно отличить от пользовательского. P2P-сеть эту проблему точно не решит.
30к запросов в месяц (не технических) - небольшой объем, возможно спарсить напрямую без капч и без прокси.
Ну, можно и сравнить, к примеру. Не Вы одни годами парсите поисковую выдачу. А то как-то не вяжется "нет смысла" и "может" - уж что-то одно тогда.
Вы пробовали XML на 500к запросов, и не в месяц, а в сутки? С девятого что ли года народ плюётся на глюки сервиса, всплывающие на больших объёмах.
И больше в сутки снимается без проблем, правда не с одного аккаунта яндекса.
после апдейта всем может понадобиться срочно глянуть позиции и система окажется загружена почти на 100%.
Это не проблема. Пара серверов на расшаренном стомегабитном канале может держать пару десятков миллионов запросов в сутки - соответственно, в распределённой сети нагрузка падает пропорционально числе узлов.
правда не с одного аккаунта яндекса
А со скольки именно?
.. а не 5 коп., иначе софт будут сносить и никогда потом не поставят уже назад.
Я думаю даже добровольное вступление в такую сеть будет сулить участникам немало благ: использование в любой момент ресурсов уникальных IP для любых сертифицированных нужд. Сертифицировать сервисы и приложения мог бы некий совет разработчиков. Хочешь масштаба - вкидывай денег за сохранение баланса трафика.
Одно работающее приложение гораздо удобнее занозы в заднице с проксями.
Кей коллектор, это не только инструмент для сбора ся, а если вам надо раз в месяц ся, то врятли вы имеете навыки использовать эту программу, вы просто парсите частотность и список.
Не дайте мне поверить, что категоричность ваших заявлений опирается на сомнения в уровне моей компетентности )
у многих весьма малые объемы для заказа на стороне, но они постоянны. Поэтому хватает использования по одному каналу.
Создание пиринговой сети - дело хлопотное и затратное. Не проще ли использовать прокси?
в последнее время процент годных прокси постоянно снижается. Это и явилось главной причиной этой идеи.
сетку можно будет использовать для чего угодно, по голосованию участников, например.
Яндекс банит IP довольно быстро, если парсить "втупую" - а таких горе-вебмастеров большинство.
согласен, задавать ограничение. Или решать голосованием, на каких условиях подключать рассматриваемый сервис или приложение.
Можно ориентироваться на социальную модель, типа опенсоурс. Клиенты торрентов никто пока не сносит, ваша категоричность напрасна )
Ну и какой смысл изобретать такую сложную систему, в которой все равно придется платить за большие объемы, когда используя XML можно парсить яндекс быстро и легальным способом. А XML лимиты стоят не дорого.
Качать можно не только выдачу, но и вордстат, эдвордс и пр. Уверен, что каналы хотя бы половины сеошников рунета на несколько порядков мощнее возможностей доступа к выдаче через XML.
1. Оценивать стоимость парсинга только по кол-ву запросов неправильно, нужно еще смотреть на сами запросы и глубину. Как минимум, не помешает классификация на "естественные" и "технические".
2. Насколько такая сеть будет устойчива к накруткам? Что помешает юзеру просто выдавать рандомные результаты и брать за это деньги? Чисто физически все запросы перепроверять будет дорого. Вообще, есть проблема доверия к данным, полученным таким образом.
Как я уже заметил выше установкой правил может заниматься некий "Совет разработчиков" )
соблазн и преимущества свободного wi-fi всегда перевешивали риски возможного сниффинга, не так ли? )
многие операции парсинга в seo достаточно просты и упираются только в тайм-лимиты между запросами. Здесь всегда будет предел в скорости, естественной для человека. Поэтому для каждого "интеллиджента" будет существовать скорый предел производительности.
иногда это нужно "до обеда".
Поинтересуйтесь, каков у них процент успешных запросов.
Именно!
Да, Ditmar, насчет "кулуаров". Разве эра "кулуарного seo" с адскими секретами уже не прошла? )
А со скольки именно?
В данный момент с 9 акков, максимум на одном 150к, на остальных меньше. На будущее сделали так, чтобы на акке было примерно 50к запросов, как только заполняется, атоматом лимиты идут на следующий.
---------- Добавлено 02.04.2014 в 11:38 ----------
Яндекс.XML не показывает рекламные объявления, поэтому в ряде случаев бесполезен
Так объявления и напрямую можно слить с директа по поисковой фразе, причем сразу все, что есть... В чем разница с выдачей поиска?
В данный момент с 9 акков, максимум на одном 150к, на остальных меньше.
У Вас получалось снять данные по 2-3 миллионам запросов в течение суток? Каков был процент ошибок?
Многие наши клиенты в своё время ушли от xml именно из-за проблем с объёмами.
если включить экономическую состовляющую то можно замутить биткоинт свой)
зы А сколько сейчас вы сможете с одного айпи сделать запросов?? не используя прокси
У Вас получалось снять данные по 2-3 миллионам запросов в течение суток? Каков был процент ошибок?
Таких объемов пока нет. Но миллион в сутки снимается без проблем. Ошибки бывают, но их минимум. Иногда выпадает 20 ошибка яндекс-xml - точно не помню, но что то вроде "Внутренняя ошибка Яндекс-XML", на каком-нибудь элементарном запросе... ее можно побороть только изменив запрос, дописав например точку в конце запроса. Но повторюсь, эта ошибка выпадает раз на сотню тысяч запросов к xml-ке.
По поводу съема 2-3 миллионов - не думаю, что будет какое то проблемой их снять при наличии спроса, т.к. Акки разные, айпишки тоже из разных подсетей. Тут если только яндекс заартачится и прикроет всем, кто пользуется xml, кислород.