seomoneys: как бы никакой "защитой Google AdWords от парсинга" фактически нет
seomoneys: банится сам аккаунт на определенно время, вернее не банится, а пропадает возможность делать выборки кейвордов
Как-то не сходится :)
Удивительно добавил 03.11.2010 в 23:17
seomoneys: доделаю нормальное определения конкуренции кейвордов, выложу
seomoneys: заняло ровно пол дня
Тоже как-то нелогично :)
В спешке залил 64-битную версию. Перекачайте, у кого ошибка при открытии-создании проектов.
Удивительно добавил 04.11.2010 в 06:34
В общем, тестовый парсер полностью работоспособен и нагрузочную проверку прошел - 1000 кейвородов по 10-16 страниц отпарсено за одну сессию успешно. Пошел спать, завтра прикручу его к программе и зарелизимся.
З.Ы. Забавно было наблюдать, как меняется дизайн и верстка AdWords прямо во время тестового парсинга :)
Fad: По началу так и делали. Но эта конструкция не позволит найти нечеткие дубликаты.
Интересно, в процентном отношении, сколько полных дублей и сколько нечетких дубликатов? 99% к 1% или еще меньше? А затраты трафика и времени можно уменьшить до 90%. Вам виднее, конечно, но в своем софте я придерживаюсь именно такого алгоритма проверки и мне этого достаточно с головой.
По секрету скажу, если использовать запросы вида "предложение1" | "предложение2" | "предложение3" вместо (предложение1) | (предложение2) | (предложение3), то можно при тех же результатах сэкономить кучу трафика и времени клиенту ;)
http://www.youtube.com/watch?v=kD6g0eJGlqA
Смешно.
"Сегодня вечером", как говорили, прога так и не обновилась
Работаем 🚬
Насчет джумлы не знаю, но вот что-то подобное
http://www.plati.ru/asp/pay.asp?idd=996219
/ru/forum/530741
Кажется, постит по XML-RPC и если джумла поддерживает - то это то, что вам нужно
как бы никакой "защитой Google AdWords от парсинга" фактически нет
банится сам аккаунт на определенно время, вернее не банится, а пропадает возможность делать выборки кейвордов
Как-то не сходится :)
Удивительно добавил 03.11.2010 в 23:17
доделаю нормальное определения конкуренции кейвордов, выложу
заняло ровно пол дня
Тоже как-то нелогично :)
В спешке залил 64-битную версию. Перекачайте, у кого ошибка при открытии-создании проектов.
Удивительно добавил 04.11.2010 в 06:34
В общем, тестовый парсер полностью работоспособен и нагрузочную проверку прошел - 1000 кейвородов по 10-16 страниц отпарсено за одну сессию успешно. Пошел спать, завтра прикручу его к программе и зарелизимся.
З.Ы. Забавно было наблюдать, как меняется дизайн и верстка AdWords прямо во время тестового парсинга :)
Странно, у меня это заняло ровно пол дня
Да, только ваш парсер как-то вот не работает ни у кого уже :)
А можно ли выложить апдейт хотя бы под Яндекс, а то уже и он не работает и у меня работа стоит?
Сейчас выложу апдейт с рабочим Яндексом.
Удивительно добавил 03.11.2010 в 22:58
Промежуточный апдейт с рабочим Яндексом.
http://amazingnichefinder.com/upload/AmazingNicheFinder.zip
Удивительно ну что там с апом? Я уже прям соскучился по проге, столько кеев отпарсить нужно...
К сожалению, пока ничем обрадовать не могу - одни трудности преодолел, появились другие :)
Работаю над прогой почти круглосуточно, апдейт сегодня-завтра.
Извините за задержки - обойти команду программистов, работающих над защитой Google AdWords от парсинга, в одиночку трудновато.
По началу так и делали. Но эта конструкция не позволит найти нечеткие дубликаты.
Интересно, в процентном отношении, сколько полных дублей и сколько нечетких дубликатов? 99% к 1% или еще меньше? А затраты трафика и времени можно уменьшить до 90%. Вам виднее, конечно, но в своем софте я придерживаюсь именно такого алгоритма проверки и мне этого достаточно с головой.
А вы, как разработчик, можете сделать такой анализ ?
У меня как у разработчика есть другие дела :)
Пока что не выйдет. Программа не считает AdWords и конкуренцию по Яндексу из-за недавних изменений. Но сегодня к вечеру будет апдейт и все заработает.
Это я вам как разработчик говорю ))
По секрету скажу, если использовать запросы вида "предложение1" | "предложение2" | "предложение3" вместо (предложение1) | (предложение2) | (предложение3), то можно при тех же результатах сэкономить кучу трафика и времени клиенту ;)
Последние этапы тестирования. Не лягу спать сегодня, пока не выкачу апдейт, в котором будет работать и AdWords и Яндекс с его последними изменениями.
Удивительно добавил 02.11.2010 в 23:18
P.S. Нет, все-таки лягу, не железный с пяти утра работать )
Но завтра точно апнемся, остались мелочи.