Запросы к поисковым системам для ВАС

Петр Елагин
На сайте с 21.03.2007
Offline
197
1328

Во-первых, Всех с праздником!

Во-вторых, хочу представиться:

Петр Елагин, Технический директор ООО "Точка Опоры".

Одно из направлений - обслуживание SEO компаний( программирование, парсинг, анализ выдачи, морфологическое исследование и пр. ).

Расчет цен по парсингу поисковых систем(запросы могут быть любые):

( вот пример на 40 000 запросов ежедневно, возможны любые варианты от 1000 запросов в день ):

1. yandex.ru - 200 р. в день до 40 000 запросов без штрафа( выдача по XML ) - приоритет до 12 часов

3. google.ru - 300 р. в день до 40 000 запросов без штрафа ( выдача по серпу ) - приоритет до 12 часов

6. mail.ru - 140 р в день до 40 000( т.е. 80 000 запросов, так как собирается 2 страницы ) запросов без штрафа ( выдача по серпу ) без приоритета, собрать до 18-00

Итого за весь парсинг всех систем - 640 рублей в день всего получается 19 200 рублей в месяц.

Штрафа нет, но если позиций в этот день не будет ( до 18-00 ), то этот день не учитывается в расчетах.

Если позиций не было, но кеш есть, и я его предоставляю, то этот день будет засчитан( например я не смог достучаться до вашего источника ).

Если полный бан сетки, и невозможность собрать, то:

1. дни тоже не считаются.

2. я предупреждаю о невозможности обработать запросы.

Расчет 25 числа каждого месяца.

Схема работы :

Создаем договор(с ООО "Точка опоры") на информационные услуги( пример договора вышлю )

Под Ваши нужны делается ферма роботов( это не прокси серверы, я гарантирую качество и скорость).

Вы создаете в специальном формате файлы - это задания на обработку.

Выкладываете в сеть( протокол любой : ftp, hhtp, ssh, почта ), робот забирает и после обработки отдает обратно архивированный архив в нужном формате.

Формат файлов прост и подходит к любому языку программирования ( JSON ), за годы работы трудностей не возникало ни у одного из заказчиков.

Если возникнут трудности то, Вы можете дать контакты вашего отдела разработки, и я покажу на примерах, что и как

Формат выдачи:

Если это парсинг позиций, то я стандартно выдаю список из : позиций, урла, домена, сниппет, если другой вид услуги, то формат обговариваем под ваши нужды, алгоритм гибок и не требует даже сложной настройки больше 4х часов.

Оплата:

В конце месяца - 25 числа, мы рассчитываем и оплачиваем.

Форма оплаты любая: нал, безнал, электронный деньги, возможен выезд курьера, если налом.

П.С.

Возможно и другие работы( 5 лет активной работы SEO парсером, есть готовые наработки и немного идей )

П.С.2

Качество моей работы, адекватность исполнения и ответственность я гарантирую( в договоре мы пропишем все нюансы) + на форуме меня многие знают ;)

Петр Елагин
На сайте с 21.03.2007
Offline
197
#1

Принцип взаимодействия:

Раз в три минуты робот проверяет наличие новых файлов заданий по указанному ФТП.

Если есть новый файл заданий, робот добавляет к имени файла расширение .lock ( т.е. переименовывает файл) и скачивает его, после завершения обработки к имени файла добавляется расширение .finish и файл загружается на сервер в папку foothold-result ( имя директории может быть любым)

ФТП:

  • Имя пользователя
  • Пароль
  • Хост
  • Порт
  • Корневая директория ( не обязательно )
  • необходимо, чтоб пользователь имел право удалять, переименовывать и создавать директории

Требования к файлам заданий:

  • в каждом файле должно быть до 1000 строк.
  • Название не принципиально, рекомендуется назвать файлы в формате Дата_Тип_Идентификатор Файла ( например: 09.36.01-09.03.2012-mail_216.txt )
  • Кодировка файла строго UTF8
  • Разделитель внутри задания '|'
  • параметр Идентификатор, уникальное число в рамках файла, т.е. повторяться внутри 1 файла он не может.
  • Параметр Домен обозначает какой домен использовать при запросе
  • Параметр Запрос должен быть как есть ( если будут например кавычки, то и в запросе они будут)

Формат входящих файлов :

  • Яндекс: Идентификатор задания, Запрос, Домен( yandex.ru, yandex.ua ), регион ( по умолчанию 213), страниц ( не обязателен )
    • Пример:677|бутилированная вода|yandex.ru|213|
  • Google: Идентификатор задания, Запрос, Домен( google.ru, google.ua ), регион ( по умолчанию Москва), страниц ( не обязателен )
    • Пример: 677|бутилированная вода|google.ru|Москва
  • Mail: Идентификатор задания, Запрос, Домен ( mail.ru ), регион ( по умолчанию Москва), страниц ( не обязателен )
    • Пример: 43645|кулер для воды спб|mail.ru|Санкт-Петербург

Формат результата:

  • В независимости от типа запроса файл результата представляет собой текст в формате JSON, архивированный библиотекой gzip
  • Для получения результатов Вам необходимо сделать:
  • Разархивировать библиотекой gzip
  • Каждая строчка этого файла состоит( разделитель ‘|’):
    • Идентификатор
    • Результат в формате JSON
    • Ошибка ( если есть)
  • Результат, это хеш-массив значений, количество значений отличается от типа запроса, основные:
    • (текст) url - Урл запроса к поисковой системе
    • (логическое) cache - Запрос из кеша или нет
    • (хеш-массив) serp(список результатов)
      • (текст) snippet - Сниппет
      • (текст) domain - Домен
      • (число) index - Позиция ( начинается с 1 )
      • (текст) url - Урл в выдаче

Примечание:

  • Следите за местом на своем ФТП ( файл результатов 1000 заданий занимает около 75 мегобайт распакованный, запакованный около 5 мегобайт)
  • Файлы строго в кодировке UTF-8
  • Каждый файл на один тип заданий
  • Если в файле будет больше 1000 заданий, то будет обработана первая 1000 заданий, остальные игнорируются
  • При необходимости есть возможность уведомление о количестве заданий по смс или электронной почтой
  • На услуги составляется договор, в котором указано дневное количество заданий и тип.
  • Скорость Обработки 1000 заданий ( представлены средние параметры, скорость может быть оговорена отдельно)
    • Яндекс XML- 100 сек
    • Яндекс - 200 сек
    • Google - 180 сек
    • Mail - 960 сек

Подробная стоимость запросов во вложении

png price.png
Петр Елагин
На сайте с 21.03.2007
Offline
197
#2

Первым 5 пользователям с репутацией от 50 000 будет сделан разовый парсинг для оценки скорости и качества( количество запросов = количество репутации( до 100 000 запросов ) )

mihan
На сайте с 20.12.2005
Offline
379
#3

Знаю Петра :) качество его работы на высоте 🍻

yeezypay.io - платежный сервис google.yeezypay.io - агентские кабинеты google ads

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий