Написать бота который лазит по ссылкам ведущим на сайт.

Только тогда уже не куки, а полноценную историю серфинга (копия браузера, исполнение js и флеша, залогиненность в нужных ПС, и т.п.).

Но это всё решаемо.

Как и на юзераторе, у этого сервиса нет достаточной положительной выборке. В открытом доступе, во всяком случае.

Непонятно, то бишь, в плюс или в минус они работают.

Добрый день.

Интересная тема. Как вы думаете может ли в этом деле помочь например selenium.

Так и есть. ПСы сейчас и сами не рады такому раскладу, потому и пошло обесценивание ссылок у яндекса и пингвин у гугла.

Selenium умеет полноценно выполнять js, на нем можно выращивать экземпляры "пользователей" со всеми примочками и историей. А вот спалится ли он перед Гуглом - это вопрос. Пробуйте если интересно.

С автоматизацией и многозадачностью у селениума плохо, как мне подсказали. В промышленных масштабах не поработаешь.

С автоматизацией у selenium все хорошо, мне хватает чтобы управлять Mozilla через Selenium Web Driver на Python. А с многозадачностью и скоростью да - плохо. Не для промышленных масштабов.

Раз уж пошла такая тема, может кто подскажет кто что использует для промышленных масштабов?

Не верю в подобные методы, хотя признаю, сам не пользовался.

Не верю потому, что спалить накрутку достаточно легко. Допустим есть качественный бот, позволяющий все и вся, но есть и другие факторы, на которые влиять сложно или дорого. Приведу примеры:

- ip адреса. Публичные прокси использовать не вариант, т.к., думаю, для ПС спалить их труда не составит, купить кучу ip из разных подсетей тоже отпадает по понятным причинам. Учесть следует и региональность ip, т.е. если куча ботов, скажем из Украины, будут кликать по донорским ссылкам, где отродясь украинского трафика не было, а аудитория акцептора из Москвы - это странно. Тем более что ботам нужно не просто кликать а показывать определенное поведение на акцепторе (предположим, Метрика стоит).

Например, естественное поведение посетителя, который по ключу "купить пластиковые окна" попадает на сайт не из своего региона - взглянуть на контакты в шапке и закрыть этот сайт, соответственно, длинные сессии не естественны, а отказы нам не нужны.

- доноры. Наверное, правильно будет предположить, что ПС обладает (используя счетчики, бары, статистику на акцепрорах) информацией о естественной кликабельности внешних ссылок на сайтах (не всех разумеется) и, скорее всего, в состоянии оценить вероятность перехода по ссылке.

К примеру, есть 100 ссылок на сайт, расположенных на страницах 3-го уровня в футере и бот их прокликивает за N времени, но, по статистике ПС, с этих сайтов, обычно, трафик по всем внешним ссылкам из футера страниц 3-го уровня за это же время не превышает 50...

Спалят или нет? Вот в чем вопрос. Но если вероятность велика, вспомним слова Гиппократа - "не навреди".

В паблике ничего такого не видно. Как вариант - собственные надстройки над браузерными движками, либо их серьёзные модификации.

Кстати, в никсах нет проблем с аналогом "фокуса ввода" в винде, когда события курсора можно обрабатывать только последовательно (нельзя печатать одновременно в двух окнах и т.п.)?

тоже ни разу не видел в паблике ничего такого.

Промышленные решения скорее всего на C или C++.

Если кто делал - тот молчит как партизан.

Selenium тормоз - я его только в одном потоке использую для некоторых автоматизаций. В нескольких потоках одновременно не пробовал. Еще пробовал QtWebKit из Python. Тоже тормоз.

Хотя оба js замечательно отрабатывают.

А что скажете об iMacros? У меня на нем написан граббер (плюс код на javascript естественно), который круглосуточно уже целый год подряд работает в отдельной копии firefox, собирает контент с пары десятков форумов и размещает его под разными пользователями на мой форум.