Программа проверки показателей купленных страниц в Sape

1 23
Leonid
На сайте с 30.07.2006
Offline
32
#21
S.Alexeev:
Интересует именно такой сервис, в другом случае сервис теряет для меня всякую привлекательность.

Тут все понятно, вам хочется полной автоматизации и доступа к Sape через логин-пароль. Да, такое возможно применять либо на своем хостинге либо в программе. Читал я данный топик, скорее всего тут просто разные ниши: с одной стороны сервис для пользователей любых бирж на собственной вычислительной мощности, с другой стороны локальный скрипт на клиентский хостингах. Скорее всего вам действительно те услуги больше подойдут ;) Но если будет желание потестите и это, так как после открытия будет работать демо режим.

S.Alexeev:
И так по 60 проектам*5 минут - очень много...

При условии, что все проекты на разных аккаунтах - долго, если же устраивает BL и они на одном аккаунте, то все обрабатывается быстро. :)

ML
На сайте с 11.07.2007
Offline
53
#22
- небезопасная работа с биржей используя логин-пароль и парсинг страниц, что тоже будет давать сбои, потому что XML - самая разумная форма передачи информации

Да согласен, если будет XML и дополнительный доступ без финансов - это очень хорошо.

Но вопрос безопасности мне кажется не стоит столь остро. Пароли не обязательно сохранять в программе - можно сделать так, чтобы пользователь каждый раз при входе в программу набирал логин, пароль. Чтобы программа не висела в аккаунте постоянно, а только заходила туда, когда надо выгрузить/сгрузить ссылки, возможно выполняла действия со входом в аккаунт не в автоматическом, а в полуавтоматическом режиме, то есть работала с аккаунтом только после уведомления пользователя, что сейчас будет производиться работа с аккаунтом, и под присмотром пользователя + другие меры можно придумать для обеспечения надежной безопасности (программисты и более компетентные люди я думаю лучше смогут описать возможные меры по безопасности).

В конце-концов, нужно использовать антивирусные пакеты и файрволы, никто Вам не даст 100% безопасности в сети, если не будете хоть чуть-чуть о ней думать. Точно также у Вас могут своровать доступ к фтп, к icq, почте и т.д.

XML – тоже нужно, но опять же и без xml – все будет работать не плохо. Могут быть сбои, но на них программа просто должна реагировать соответствующим образом. По крайней мере Ксап-парсер (программа для работы с Ксап, в другом топике обсуждается) – меня лично не мучила сбоями и отзывов о сбоях я не слышал.

Нагрузка на систему – не хорошо. Но пусть тогда система обеспечивает нас актуальной информацией о страницах - никто не будет делать лишних запросов. Я все же не думаю, что экспорт/импорт необходимых данных будет чрезвычайно загружать Сапе.

Кстати здесь: человек обещает именно то что нужно, по крайней мере мне

Хорошая вещь - цена не маленькая((. Функций можно и побольше сделать. Думаю разработчики semonitor и yazzle смогут написать доп. модули к своим основным программам за меньшие деньги и с большими функциями (не в обиду разработчику скрипта).

nickspring
На сайте с 29.03.2006
Offline
228
#23
MeLFin:
Кстати Semonitor, Yazzle - уважаемые разработчики этих и других продуктов, у Вас уже сделано пол дела - есть готовые модули для проверки параметров ссылок (у semonitora - практически все кроме проверки на ХСС и склейки ПР) - но нет прямой работы с биржами (в частности с Sape). А если и есть (как например у Yazzle), то интеграция с биржей неполная. Нет работы с блек-листом, нет других функций позволяющих автоматизировать работу с Sape.

Работы с биржой SAPE в режиме "записи" в ближайшее время не будет по:

1) техническим причинам (отсутствие надежного интерфейса управления).

2) идеологическим. Не секрет, что иногда происходят ошибки при получении данных. Нам бы не хотелось "приучать" пользователей на автомате снимать и отправлять в BL нормальные ссылки. С учетом постоянного совершенствования алгоритмов автоматизация таких процессов бесперспективна. Каждый пользователь биржы должен отчетливо понимать, что он делает, а не просто жать кнопку "Удалить плохие ссылки" (а ведь критерии "плохой" ссылки еще зачастую субъективные) :) Другое дело, что нужно увеличивать точность проверки индексации каждой из ссылок. А уж экспортировать список "не подходящих" урлов из программы в сапе можно очень быстро.

ML
На сайте с 11.07.2007
Offline
53
#24
1) техническим причинам (отсутствие надежного интерфейса управления).

2) идеологическим. Не секрет, что иногда происходят ошибки при получении данных. Нам бы не хотелось "приучать" пользователей на автомате снимать и отправлять в BL нормальные ссылки. С учетом постоянного совершенствования алгоритмов автоматизация таких процессов бесперспективна. Каждый пользователь биржы должен отчетливо понимать, что он делает, а не просто жать кнопку "Удалить плохие ссылки" (а ведь критерии "плохой" ссылки еще зачастую субъективные) Другое дело, что нужно увеличивать точность проверки индексации каждой из ссылок. А уж экспортировать список "не подходящих" урлов из программы в сапе можно очень быстро.

ИМХО - решаемые проблемы. Никто не призывает сделать одну кнопку: удалить плохие ссылки.

(а ведь критерии "плохой" ссылки еще зачастую субъективные)

Все эти критерии можно оставить пользователю для настройки.

Не секрет, что иногда происходят ошибки при получении данных. Нам бы не хотелось "приучать" пользователей на автомате снимать и отправлять в BL нормальные ссылки.

Мне кажется, Вы немного перегибаете палку. С искажениями данных можно бороться, вводить проверки на целостность и т.д.

Если Вы считаете, что автоматическая загрузка и выгрузка обратно - это большая проблема - их можно не делать. Достаточно обеспечить полную поддержку выгружаемых файлов (то есть чтобы номинальные значения ПР, тИЦ, количество внешних ссылок и др. загружались в программу, там проверялись и выдавался полный гибкий отчет, удобный для анализа и для последующего экспорта обратно в Сапе + желательно формирование внутренних списков в программе со страницами ПР которых не соответствует и др. списки, которые можно вести в автоматическом режиме и учитывать эти списки при повторной проверке).

Вы просто поймите: проверять все показатели ПР, ТИЦ, внешних ссылок и сравнивать их с номинальными, указанными на бирже - это очень большая проблема. Проверить легко, а вот сравнить и получить сравнительный анализ - сложно. Нет продуктов которые бы сейчас выполняли сравнительный анализ. Ведь, например, ПР бывают разные (я думаю все знают:)). Я купил, например, ссылок ПР 3 по фильтру, а потом ПР 1, уже по другому фильтру. Самый лучший вариант выгрузить все купленные ссылки и проверить их на реальность показателей. А сейчас этого нет. И приходится в ручную выбирать страницы с ПР 3, проверять соответствуют ли они своим показателям или нет, потом с ПР 1 и тоже самое, потом проверять внешние ссылки - действительно их там 5 или же 25. А все программы которые проверяют страницы не выдают сравнительный анализ количества внешних ссылок. Они сообщат, что на одной странице 5 ссылок, а на другой 25 - дальше сам сортируй как хочешь, сам сверяй. естественно когда страниц и ссылок сотни и тысячи этого сделать невозможно.

Кстати, возможен еще один вариант реализации нужных функций: создание буферной программы для анализа.

Как она может работать:

Из Сапе грузится файл с со всеми ссылками и со всеми параметрами. Из загруженного файла программа формирует просто текстовый файл с адресами страниц. Этот текстовый файл загружается в Semonitor или другую какую-то программу, которая может провести полный анализ нужных параметров. В semonitor (или еще где-то) проводится полная проверка. Результаты анализа выгружаются в текстовый файл. Этот текстовый файл загружается обратно в буферную программу. В программе проводится анализ номинальных и реальных показателей. Формируется отчет. Создаются списки страниц с ПР = 0, с большим количеством ссылок на странице и т.д. Эти списки будут учитываться программой при последующих загрузках. Чтобы в последующем сразу выдавать отчет о страницах купленных повторно, но уже имеющих "плохую историю". Кроме списков формируется блек лист, с сайтами использующими роботс и другие обманные приемы. Все полученные результаты, сведенные в удобные таблицы, анализируются оптимизатором он принимает решение о дальнейших действиях со страницами - кого в блек-лист, кого оставить несмотря на заниженный ПР. В конце концов оптимизатор создает список ссылок, которые он решил не удалять. Дата проверки этих ссылок запоминается. Через четыре недели программа выдает сообщение оптимизатору "Часть ссылок куплена больше месяца назад - создать файл для проверки проиндексированности ссылок ПС?" Отвечаешь -да - программа создает файл со всеми ссылками, которые месяц назад пользователь решил сохранить + тексты ссылок (формат YCCY). Далее пользователь в ручную запускает проверку в юкки, а получившейся результат грузит обратно в программу. Дата проверки юкки запоминается (чтобы через какое-то время опять предложить проверку). Ненужные ссылки пользователь удаляет в ручную, добавляет в блек-лист и т.д.

В результате программа по сути становиться универсальным буфером для анализа результатов проверки и хранения итогов. При этом приспособить программу для различных "проверялок" не сложно - нужно лишь поддерживать их экспортные файлы. Если Сапе или какая-то проверяющая программа решит внести изменения в свои экспортные файлы - подправить буферную программу можно очень быстро.

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий