Amigo_9876

Amigo_9876
Рейтинг
328
Регистрация
01.04.2009
Интересы
Музыка, спорт

Fruit, Позиции для Я, я снимаю XMLом

Прокси мне нужны для съема позиций в гугле.

В htaccess прописываете.

Я запретил доступ даже бингу и яху, что уж говорить о ахрефсе.

Потому что на большой сайт, там нехилая нагрузка идет. Особенно, если сайт плохо оптимизирован в плане запросов к БД.

## Блокировка по USER AGENT:
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} PHP/ [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]

RewriteCond %{HTTP_USER_AGENT} bingbot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} psbot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot-UDiscovery [OR]
RewriteCond %{HTTP_USER_AGENT} Flamingo_SearchEngine [OR]
RewriteCond %{HTTP_USER_AGENT} statdom.ru [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]

RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]

http://foxi.biz/snizaem-nagruzku-na-server-na-90-protentov.html

Fruit, Странно, брал раньше тот же пакет что и у вас сейчас.

Это был ужас, прокси тупили, забанены, или еще что, я не разбираюсь.

Но снимать позиции с их помощью было нельзя вообще.

Парсить выдачу - где скорость не так важна когда есть 20 потоков - еще нормально.

Чем ваша программа лучше Нетпик чекера?

YaanGle:
По аське 2й день нет ответа, может здесь увидите:

1.При проверки прокси в настройках выдает ошибку:
<b>Fatal error</b>: Uncaught exception 'Exception' with message 'String could not be parsed as XML' .../positions/library/ypos/ypos.php:434
Stack trace:
#...positions/library/ypos/ypos.php(434): SimpleXMLElement-&gt;__construct('&lt;!DOCTYPE HTML ...')
#1 .../positions/modules/position/position.php(0): ypos-&gt;checkServers()
#2 .../positions/modules/position/position.php(0): position-&gt;checkServers()
#3 .../positions/index.php(0): position-&gt;ajaxAction()
#4 {main}
thrown in <b>.../positions/library/ypos/ypos.php</b> on line <b>434</b><br>
</td>

2. Вчера обновился до 1.42, сейчас при клике на ячейку с позицией выдает "Недоступно в бесплатной версии" - скрипт покупал года 1.5 назад, почему слетела лицензия ?

А у него лицензия на год дается.

По крайней мере когда я покупал.

---------- Добавлено 06.08.2013 в 22:20 ----------

FreeLancer:
что то вообще задница какая то. лимит, лимит, лимит..
может aнтиkaпчy прикрутите?
Бодаться с яшкой утомило..

Антикаптча от лимита не спасет.

Снимайте позиции вечером/ночью, или докупайте лимиты.

armand_rostov:
А есть такие люди, кто наладил сайты и сидит всего 2-3 часа и этого достаточно?

ну есть у меня 4 сайта, новостники, на которые пишут новости люди, а я им плачу только + смотрю чотбы все было в порядке - пару часов в неделю.

А так вообще работаю часов 10.

До вечера часов 6-7, и ночью 3-4.

Devvver:
пипец, наконец то мои сайты попали в индекс!
А также узнал, что пару дропов под АГС.

Оно всегда так)

Воспользовался услугами сервиса. Нужно было загнать страницы с вечными ссылками и статьями. Прошло 14 дней.

В индекс Я добавилось: 17/101

В индекс Г добавилось: 2/53

Может кто-то посоветует еще какие-то способы по загону в индекс.

Мдаааааааа..........Поспешил я радоваться.

Вы сами будете выбирать где размещать мою ссылку??

Ну уж извините.

Всего: 3294