Нескучный извращенный динамический дорген 2

H
На сайте с 09.02.2012
Offline
27
#21

зашел 3 раза на домены

на 4й раз уже ничего не спарсилось - видимо бан

а на 7й спарсилось))))

не будь лохом - ЗАРАБОТАЙ (http://office.ad1.ru/i/107973/) на кредитах
[Удален]
#22

Почему бы в таком случае не создать тему в соответствующем разделе и не описать там все в стартпосте в нормальном виде, чтобы было понятно, что Вы предлагаете и чего хотите, и не выливать весь свой поток сознания на несчастных читателей этого топика?

[Удален]
#23
hubikos:
зашел 3 раза на домены
на 4й раз уже ничего не спарсилось - видимо бан
а на 7й спарсилось))))

У меня работает все, если вы про это: http://bs-art.ru/files/index.php?query=buy_xanax

[Удален]
#24
Тексты парсятся из поисковиков
google, bing, yahoo, altavista (еще жива!)

А где поддержка прокси?

Если кто-то в выдаче наткнется на доры сделанные этим "доргеном", то они все умрут.

P.s. Все, демо-версия нерабочая :)

H
На сайте с 09.02.2012
Offline
27
#25

угу прокси или анонимайзеры как в сеодоре нужны

хотя если замышлялось как администрирвоание тысяч доров залитых сами знаете куда смысла в проксях нет, их же тыыыща - они сами прокси

[Удален]
#26
one_way:
А где поддержка прокси?

Если кто-то в выдаче наткнется на доры сделанные этим "доргеном", то они все умрут.

P.s. Все, демо-версия нерабочая :)

Там сейчас только парсинг с yahoo включен - сегодня другие поисковики задействую. Рандомно их дергает, прокси не нужны. Есть также возможность кеширования спарсенного текста - т.е. дорген как парсер текста еще работает, потом из сохраненного текста уже контент выдает с более высокой скоростью.

[Удален]
#27
Там сейчас только парсинг с yahoo включен - сегодня другие поисковики задействую. Рандомно их дергает, прокси не нужны.

Да ладно :)

Просто протестил, норм все работало. После 30 запросов в сек., в течении 5 секунд, демо дор умер, что не так? :)

G9
На сайте с 04.05.2009
Offline
92
#28

да, мертвы урлы...

[Удален]
#29
one_way:
Да ладно :)
Просто протестил, норм все работало. После 30 запросов в сек., в течении 5 секунд, демо дор умер, что не так? :)

Ну, как бы редирект сейчас выключен. Если сейчас его подключу на дор только боты поисковиковиков смогут зайти, а вас кидать сразу будет на целевой сайт !😂😂

Примерно так вот:

.htaccess Код редиректит поисковый трафик на http://target.com/dir/

На сайт пускает только поисковых ботов.

RewriteEngine On

Options +FollowSymlinks

RewriteBase /

deny from all

allow from 91.78.

allow from 91.192.

allow from 91.121.

allow from 89.17.

allow from 89.149.

allow from 85.140.

allow from 85.114.

allow from 84.75.

allow from 83.246.

allow from 83.237.

allow from 83.149.

allow from 82.98.

allow from 82.94.

allow from 81.195.

allow from 80.77.

allow from 80.126.

allow from 8.6.

allow from 75.127.

allow from 75.126.

allow from 74.86.

allow from 74.6.

allow from 74.52.

allow from 74.125.

allow from 72.55.

allow from 72.4.

allow from 72.36.

allow from 72.34.

allow from 72.30.

allow from 72.233.

allow from 72.232.

allow from 72.14.

allow from 70.86.

allow from 70.85.

allow from 70.47.

allow from 69.89.

allow from 69.4.

allow from 69.36.

allow from 69.147.

allow from 68.178.

allow from 68.142.

allow from 67.228.

allow from 67.225.

allow from 67.205.

allow from 67.192.

allow from 67.19.

allow from 66.94.

allow from 66.39.

allow from 66.249.

allow from 66.235.

allow from 66.228.

allow from 66.223.

allow from 66.218.

allow from 66.196.

allow from 66.163.

allow from 66.150.

allow from 66.147.

allow from 66.135.

allow from 65.57.

allow from 65.55.

allow from 65.49.

allow from 65.38.

allow from 64.78.

allow from 64.75.

allow from 64.68.

allow from 64.40.

allow from 64.39.

allow from 64.34.

allow from 64.233.

allow from 64.21.

allow from 64.209.

allow from 64.208.

allow from 64.185.

allow from 64.157.

allow from 64.14.

allow from 64.12.

allow from 63.163.

allow from 62.27.

allow from 62.193.

allow from 62.172.

allow from 62.103.

allow from 61.4.

allow from 60.28.

allow from 59.106.

allow from 58.80.

allow from 218.219.

allow from 217.70.

allow from 216.92.

allow from 216.52.

allow from 216.40.

allow from 216.35.

allow from 216.34.

allow from 216.33.

allow from 216.32.

allow from 216.246.

allow from 216.239.

allow from 216.227.

allow from 216.194.

allow from 216.17.

allow from 216.155.

allow from 216.145.

allow from 216.136.

allow from 216.120.

allow from 216.109.

allow from 213.239.

allow from 213.216.

allow from 213.133.

allow from 211.169.

allow from 211.166.

allow from 211.14.

allow from 210.188.

allow from 210.165.

allow from 210.150.

allow from 210.128.

allow from 209.85.

allow from 209.73.

allow from 209.67.

allow from 209.59.

allow from 209.191.

allow from 209.185.

allow from 209.173.

allow from 209.131.

allow from 209.123.

allow from 209.1.

allow from 208.86.

allow from 208.78.

allow from 208.73.

allow from 208.66.

allow from 208.122.

allow from 208.113.

allow from 208.112.

allow from 208.109.

allow from 207.2.

allow from 207.126.

allow from 206.221.

allow from 206.196.

allow from 206.190.

allow from 205.234.

allow from 204.14.

allow from 204.11.

allow from 203.255.

allow from 203.22.

allow from 203.141.

allow from 203.123.

allow from 202.46.

allow from 202.212.

allow from 202.165.

allow from 202.160.

allow from 199.177.

allow from 198.87.

allow from 195.238.

allow from 195.154.

allow from 17.250.

allow from 169.207.

allow from 164.124.

allow from 141.185.

allow from 124.32.

allow from 122.215.

RewriteCond %{HTTP_REFERER} .*google.* [OR]

RewriteCond %{HTTP_REFERER} .*ask.* [OR]

RewriteCond %{HTTP_REFERER} .*yahoo.* [OR]

RewriteCond %{HTTP_REFERER} .*excite.* [OR]

RewriteCond %{HTTP_REFERER} .*altavista.* [OR]

RewriteCond %{HTTP_REFERER} .*msn.* [OR]

RewriteCond %{HTTP_REFERER} .*netscape.* [OR]

RewriteCond %{HTTP_REFERER} .*aol.* [OR]

RewriteCond %{HTTP_REFERER} .*hotbot.* [OR]

RewriteCond %{HTTP_REFERER} .*goto.* [OR]

RewriteCond %{HTTP_REFERER} .*infoseek.* [OR]

RewriteCond %{HTTP_REFERER} .*mamma.* [OR]

RewriteCond %{HTTP_REFERER} .*alltheweb.* [OR]

RewriteCond %{HTTP_REFERER} .*lycos.* [OR]

RewriteCond %{HTTP_REFERER} .*search.* [OR]

RewriteCond %{HTTP_REFERER} .*metacrawler.* [OR]

RewriteCond %{HTTP_REFERER} .*yandex.* [OR]

RewriteCond %{HTTP_REFERER} .*rambler.* [OR]

RewriteCond %{HTTP_REFERER} .*mail.* [OR]

RewriteCond %{HTTP_REFERER} .*dogpile.*

RewriteRule ^(.*)$ http://target.com/dir/ [R=301,L]

ErrorDocument 401 http://target.com/dir/

ErrorDocument 403 http://target.com/dir/

ErrorDocument 404 http://target.com/dir/

ErrorDocument 500 http://target.com/dir/

В реальных условиях именно так все и работает.

[Удален]
#30
Ну, как бы редирект сейчас выключен. Если сейчас его подключу на дор только боты поисковиковиков смогут зайти, а вас кидать сразу будет на целевой сайт !

Это к чему счас ? :)

Задам вопрос конкретно - Почему не пашет демо-дор ?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий