Yet Another Dynamic Doorgen

Похожий по генерации на SED . Инересный скрипт .ТС как в ПС такой дор живет?Где лучше себя проявил яша/гугл?

Под простыню, конечно удобней, чтобы вида {дор|[ url= site.ru ] дор ...}

Ну тут уже от схемы вывода зависит =) И там и там нормально. С гугла он сам траф собирает, без продвижений и прочих пинков с моей стороны, пачка тестовая (10 сабов на одном домене) приносит около 150 уников даунлоад-трафа в день, но я с ней вообще ничего не делал, да и времени пока мало прошло. Хотел под Яндекс прикрутить один хитрый рес, но затем передумал, рес сдохнет и пользы от фишки не будет.

---------- Добавлено 05.06.2012 в 19:45 ----------

Ну )(румер и сам это прекрасно умеет =) А формат вывода можно прикрутить любой.

Тоже очень интересно. Если нужны бета-тестеры - можете меня записать. Есть Lsd, Storm, Sed и несколько приватных разработок - есть с чем сравнить.

Интересно, только опять же вопрос, для меня минус всей этой динамики в том, что повесив сотню другую доров на одну айпиху, айпиха попадет в баны ПС и парсинга соотвественно не будет, как и генерации страниц. Какие-либо варианты по решению таких проблем есть?

мб прокси и юзер агенты? ...не?

Каптчу подключить с каптчабота можно. Тестировались ли доры сгенерированные под гугл таким доргеном? Как результаты?

Тоже интересно

как вариант не доверять парсинг юзерам ), а запоминать куда они тыкали, потом постепенно не напригая пс парсить новые паги :)

тоже щас над всем этим работаю ))

юзерагенты, прокси, ********а - смешно как то ))

Примерно так оно и будет. Сейчас только одна загвоздка - при большом трафе на дорах будет большое количество кеев, даже отсеяв ту часть кеев что уже есть в базе дора, их остается все равно довольно много. И тут начинается самое главное, по каким критериям отбирать кеи для генерации новых страниц? С одной стороны можно поступить достаточно просто - генерить страницы по кеям по которым больше всего переходов, то есть те, которые встечаются в базе чаще всего. Но, раз мы собираем по этим кеям достаточное количество трафа, следовательно страницы на которые по ним переходят, уже сидят в топе или около него и генерить новые страницы по этим кеям большого смысла как бы и нет (в плане увеличения общего количества трафа), разве что для ботов. Но с другой стороны, генерить страницы по кеям с малым количеством переходов тоже смысла особого нет, по этим кеям мы так же можем быть в топе и собирать весь траф, просто это супер НЧ кеи и следовательно встречаются в базе крайне редко. Ну и конечно же есть проблема тематичности кеев. Серчи могут быть и не тематическими, особо если мы напарсим в сниппетах других доров, сгенереных на каком-нибудь адалт контенте. Нам же не нужны на доре финансовой тематики все эти сиськи - письки =)

Согласен, прокси и антигейты не нужны. А юзерагенты менять стоит, у наших провайдеров может половина города сидеть на сотне IP-адресов, ПС это прекрасно знают и этим можно воспользоваться =)

здесь все, никита, стас, турбо метелкин)