Я думал над использованием текстовых бирж. Там даже API бывают неплохие. И прочие средства интеграции. Но когда стал думать над процессом детально, то понял, что ни на одной бирже не найду всего, что мне надо (я пробовал).
Например, в идеальной по моему мнению статье в первых 300 символах текста не должно быть блочных элементов оформления (списков, цитат...), за то там должна быть картинка - и вот чтобы текст ее красиво обтекал, там и не должно быть лишнего. И таких "закидонов" у меня может быть с десяток.
Сам я такое накодить могу, а вот на биржах не встречал возможностей автоматической проверки текстов на подобные тонкие требования. При чем прямо в редакторе, куда исполнитель вводит текст. И пока текст не удовлетворит всем таким требованиям, сдать его просто невозможно. ИМХО это должно быть именно так.
Конечно, "закидоны" у всех свои. Но в отличие от открытых текстовых бирж я говорю о закрытом (приватном) сервисе. Что-то вроде онлайн-офиса или онлайн-редакции.
Если говорить о продаже системы в исходном коде, то правила проверки текстов легко можно будет поправить под себя.
Если же рассматривать вариант аренды, то число клиентов будет явно невелико и я смогу с ними согласовать представления о необходимом наборе правил, сделать их настраиваемыми через интерфейс системы.
Есть такое дело. Но чтобы пользоваться такой штукой самому, тоже нужны деньги - статьи в большом количестве, да еще качественные, стоят немало.
Да и в разработке крайне важно быстро получить опыт практического применения продукта, чтобы не тратить время на ошибочно считаемые важными функции, откладывая на потом по факту куда более полезное. И нащупать верный путь тут как раз помогает общение с потенциальными пользователями, обладающими практическим опытом в данной сфере.
Разработчик - не всегда гуру того, что он кодит. Я вот не могу назвать себя гуру seo, хотя и имею положительный опыт. Но среди собравшихся на этом форуме, вне всяких сомнений, полно тех, кто шарит в теме намного круче меня.
Вот мне и было бы интересно пообщаться с такими людьми на данную тему.
У нас задачи все же разные, видимо.
Вам нужно перед клиентом отчитаться по продвижению? Тогда с ним и нужно заранее оговаривать целевую аудиторию, включая основные регионы продвижения, для которых тогда нужно отдельно снимать позиции с прямым указанием оных в запросе.
Плюс отдельно рассматривать продвижение в глобальной выдаче по соответствующей стране. Это просто разные части семантического ядра, имхо.
В такой постановке, правда, запросов будет уйма. Особенно если двигаться по СЧ и НЧ. А тогда действительно будет проблема с суточным ограничением по АПИ. С чем можно бороться либо покупая расширение лимита, либо брать пачку прокси-серверов. Цены, правда, примерно одинаковые.
Технически будет проще докупить расширение лимита (не нужно писать перебор проксей). Но я никогда не пользовался расширением, посему не могу сказать, какие это может иметь особенности.
vs_editor, у меня не стоит задача отправить много запросов. Мне просто нужно поддерживать актуальность данных о небольшом количестве ключевиков, находящихся в топе. Поэтому меня ни капчи, ни суточные лимиты не волнуют - я до них доводить не планирую. И замечать число запросов мне как-то надобности не было. Пары сотен в сутки точно хватит. А с этим проблем быть не должно.
Корректные заголовки в запросе, массивчик свежих юзер-агентов и поддержка куков - это все, чем я пока развлекаю поисковики. "Под нагрузкой" еще не тестил, но думаю, что мне этого хватит.
Про группировку... Это когда в выдачу лезет несколько страниц с одного сайта? Самому интересно. Что-то видел, левое и невнятное, но теперь и его найти не могу.
А ТОП500 мне проверять и не нужно - мне ТОП5 хватит.
Не помню - на форуме каком-то забугорном нашел, но работает.
Только что вынул с АПИ топ50 - дальше не смотрел... Параметр start еще ни кто не отменял. А страница там кстати не 20, а максимум 8 позиций, если Вы это имели в виду.
Я полагал, что они относятся к локальной выдаче (привязанной к местонахождению пользователя). И идут в начале списка, после рекламы, на сколько я заметил. При чем. если указать область поиска, например, Россия, для запроса типа, "ресторан", то карт не выводится. А если искать по Москве - тут как тут. Что еще больше укрепляет меня в идее относить их к локальной выдаче, а не глобальной.
Конечно, для клиента важны все способы вылезти в топ. Но можно ли честно утверждать, что "сайт по ключевику Х находится на месте Y", беря во внимание что-то кроме глобальной выдачи? Ведь люди с иными настройками поиска не увидят его ни в локалке, ни на картах, ни в персоналке.
Рассчитывать на то, что у целевой аудитории будет выставлен нужный регион можно, но далеко не у всех.
Про 100 запросов в сутки тоже полезно - не знал конкретного значения. Правда, что-то уж больно мало - я явно больше уже запрашивал. Вы не опечатались ноликом?
Самое смешное, что мне и 100 запросов в сутки в общем-то хватит. Такая вот специфическая задача - ключей мало.
Теперь про морду. Я сначала так и делал, а потом не нашел метода отличить, например, локальную выдачу от глобальной. Они идут единым списком, оформленные одинаковыми тегами с одинаковыми атрибутами. На глаз можно отличить только по географическим данным на сайтах. Из-за чего иногда позиции снимаются некорректно. Отсюда и порывы парсить API, где можно четко указать - "дай мне глобалку".
При чем, тестировал запросы, которые вызывали у меня глюки, на публичных сервисах - и они считают правильно. Т.е. либо они сами на API сидят, либо я тупой, "либо одно из двух" (с) Шэф.
d4k, спасибо! Ссылка уже пошла на пользу. Опыт тоже учту.
По поводу "есть уже куча софта"... Да, есть, но пробив позиций для моего случая - лишь необходимая часть задачи, а не конечный сервис. Заставлять пользователя делать это сторонним софтом и заливать полученные данные считаю недопустимым. Посему, выход один - включить парсилку в мой продукт.
vs_editor, а чем смешон парсинг через API? Какие еще есть альтернативы?
Что, ни кто за деньги по ру-гуглу не двигает? Или я форум порепутал? Так нет же, Серч, однако!
SEO-спецы, для вас же софт пишу - поделитесь уже инфой, пожалуйста!
