Автомодератор ссылок в САПЕ

Утилита для работы с сервисом sape.ru для полуавтоматической и автоматической модерации ссылок

Предистория

Добрый день!

Начну издалека. Однажды при проверке индексации в ПС Yandex своих сайтов, с которых я продаю ссылки на сервисе sape.ru, обнаружил что некоторые cайты присутствуют в индексе только в количестве 1 - 5 страниц. Хотя совсем недавно было более 200 страниц. На вопрос в службу поддержки мне пришел относительно новый стандартный ответ:

Часть страниц, скачанных роботом, не участвует в поиске, так как алгоритмы Яндекса обнаружили среди них страницы со ссылками на ресурсы, которые раскручиваются с помощью ссылочного спама или являются поисковым спамом. Эти документы и некоторые разделы сайта, куда они входят, были автоматически понижены в результатах поиска или исключены из них, так как поисковый спам ухудшает качество поиска.
Чтобы вернуть страницы в поиск, уберите, пожалуйста, ссылки на подозрительные ресурсы или, если речь идет о немодерируемом разделе сайта, обрамляйте ссылки на внешние сайты тегом . Если изменения будут внесены, сайт вернется в поиск автоматически.

Я конечно постарался вычислить те самые "ресурсы", отказал каким то рекламодателям, вообщем принял меры, но уже несколько месяцев а воз и ныне там: все те же 1-5 страниц в индексе. Как следствие - далее последовало попадание в черные списки оптимизаторов. Естественно доходы от продажи ссылок на этих сайтах сразу сократились.

Почитав форумы сделал несколько выводов:

• - Если попасть под такой "полубан" - то восстанавливаться крайне тяжело.
• - На автоматическом режиме продавать ссылки по меньшей мере опасно
• - Фильтровать ссылки на предмет поискового спама. Ссылкам "Цена славного шкафа купе. Цена незабвенного шкафа купе. Цена замечательного шкафа купе." отказывать (реальный пример:)). Принимать предложения только с человеческим текстом.
• - Использовать функционал sape.ru в плане списка "стоп слов"

У меня в sape.ru несколько аккаунтов - так легче отслеживать сайты. После того как выводы были сделаны, мне приходилось каждый день заходить на все свои аккаунты, заходить на страницу предложений и фильтровать предложения. Не знаю как дела обстоят у других, но при моих относительно высоких ценах (относительно "средних по системе") предложения мне приходят сотнями. В каждом аккаунте просмотреть весь список предложений, определить "спамность" каждой ссылки, проставить галочки, выбрать нужные варианты ответов и нажать несколько раз кнопку, при этом ещё ждать загрузки страниц - вообщем все это стало отнимать драгоценное время. Я пришел к выводу что это довольно рутинная работа, которая подлежит автоматизации. И была написана специальная утилита.

Описание утилиты

Написанная утилита превращает меня в наблюдателя, делает всю вышеописанную работу сама и главное - экономит время.

Алгоритм работы состоит из 3 шагов

- Шаг 1: Нажимаем кнопку "Собрать предложения". Программа проходит по всем аккаунтам, заходит на страницу предложений, парсит её и записывает все предложения в таблицу

- Шаг 2: нажимаем кнопку "Проставить ответы". Программа проходит по всем предложениям всех аккаунтов, определяет "спамность" ссылки (что такое "спамность ссылки" - см. ниже), и проставляет согласие- если ссылка человеческая, и отказ по выбранной причине если ссылка является поисковым спамом (я ставлю причину - "текст ссылки не подходит")

- Шаг 3: Нажимаем кнопку "Отправить ответы". Программа вновь проходит по всем аккаунтам, проставляет ответы, нажимает кнопку "Подтвердить"

Помимо этого в таблице есть возможность сортировки по любому полю и группировки по любому полю.

Итого вся работа свелась к 3 кликам мышки.

Утилита написана на DELPHI, и просто рулит IE. Т.е. Вы нажимаете на кнопку и видите как IE идет на страницу предложений, ставит галочки, выбирает ответ, нажимает "Подтвердить".

"Спамность ссылки".

Теперь что такое "спамность ссылки".

"Спамность ссылки" - в моём понимании максимальное число повторений одного и того же слова.

Тут все просто. Берем вышенаписанный пример: "Цена славного шкафа купе. Цена незабвенного шкафа купе. Цена замечательного шкафа купе." Это я называю г..ссылкой. Слова "Цена", "шкафа", "купе" встречаются по 3 раза. Остальные слова - по одному разу. Следовательно спамность ссылки - "3 3 3 1 1 1". И сдаётся мне что за такую ссылку можно попасть под вышеописанный бан. Должен сказать что однокоренные слова программа считает разными словами. Т.е. "шкафа" и "шкаф" - разные слова.

Вот, кстати, статья в тему: http://sapehelp.ru/blog/anchors-2-5-2008/

В программе на втором шаге пользователь задаёт максимально допустимую спамность. Т.е. если максимально допустивая спамность = 2, то ссылки в которых одно и то же слово встречается более 2 раз - получают отказы.

Ожидаю что многие не согласятся с моим алгоритмом определения "спамности ссылки". Возможно некторые применяют какие то другие принципы при отборе ссылок. Очень хотелось бы услышать эти принципы. Жду сообщений эдесь.

При этом утилита оставляет возможность пройти по всему списку предложений и изменить ответ для отделльно взятой ссылки. Т.е. если Вы не доверяете алгоритму - утилита по крайней мере подскажет Вам на какие ссылки стоит обратить внимание.

Безопасность.

Как показало общение на форуме САПЫ - один из самых важных вопросов - безопасность программы. Не является ли она бекдором, вирусом, червем и т.д. Не сливает ли она логины и пароли, или ещё что.

Специально для тех кому будет казаться, что программа

• сливает логины и пароли
• выполняет какие то плохие действия
• пытается дестабилизировать экономическую обстановку в России и стремится к мировому господству :)

Отвечаю:

• Нет, не сливает
• Нет, не выполняет
• Нет, не пытается и не стремиться

Подробное обсуждение читайте на форуме сапы

Резюме по вопросу безопасности

Один из возможных методов проверки:

Ставим какую либо стороннюю программу (фаер, или еще что то) которая ведет лог куда ходит утилита.

Смотрим лог. Должно быть только две страницы

http://sape.ru/login.php?act=logout - страница выхода (она же страница входа)

http://sape.ru/submit_orders.php - страница предложений.

Кстати, обе эти страницы прописаны в файле design.ini - который находится в каталоге программы.

Если все таки сторонняя программа показала что утилита пытается пройти в интерфейс оптимизатора (http://sape.ru/projects.php и т.д.), либо в настройки пользователя (http://sape.ru/profile.php) либо куда - то ещё - пишем об этом здесь.

И еще: на самом деле в профайле (http://sape.ru/profile.php) WMZ кошелек - поле недоступное для редактирования. Так что ни программа не сможет его поменять, не я лично даже если как то узнаю логины и пароли.

Обновления

Недостаток программы один: она привязана к чужому html интерфейсу. Чтобы избавиться от этого недостатка и не менять саму программу при возможном обновлении дизайна sape.ru все названия html элементов вынесены в отдельный ини-файл (design.ini). Т.е. названия кнопок, чекбоксов, названия полей ввода, регулярное выражение которым парситься страница предложений и его расшифровка - все записано в этом ини-файле. Последнюю версию Вы всегда можете скачать с этой страницы. Я работаю с Sape.ru давно и работать собираюсь еще долго. Поэтому если в интерфейсе что то меняется, я оперативно меняю инифайл и выкладываю его в общедоступное место.

Что касается обновления функционала. Если будет интерес к программе среди народных масс, и если будут какие то пожелания по дополнительной функциональности, я постараюсь объединить эти пожелания и выпущу новую версию.

Заключение

Программа предназначена для тех ВМ кто продает ссылки в ручном режиме на САПЕ. Цель программы - максимально удобное вычисление г..ссылок, за которые можно попасть в бан.

Страница утилиты: http://prog.procik.ru/

Качаем демо версию, смотрим, высказываем здесь аргументированную критику

Скрин утилиты: http://prog.procik.ru/screen.gif