Devvver: советую перечитать источник внимательнее :) страничка с рекламой партнерки (реферальной ссылокой) = спам.
Я тут криво написал - засыпаю уже. Сам сайт-магазин - спамом не является, спамом является сайт, который по партнерской программе продает товар из этого магазина. Это логично, да. Но в моем случае сам сайт-магазин, который жирный, трастовый и с хорошим ссылочным - ушел за топ 20 по большинству запросов. А сайт с ужасным дизайном хоть и зареганый 4 года назад и с отвратительным ссылочным - в топе сидит.
Есть сайт донор, на нем размещена реф ссылка site.ru/game-name/?game=27526 - если посетитель переходит по этой ссылке, то его редиректит с адреса site.ru/game-name/?game=27526 на адрес site.ru/game-name/ проставляя ему попутно куку SALE_AFFILIATE=27526 - откровенное палево!
А смысл какой?
Поэтому ГСы живут и даже выше боле-менее норм сайтов.
Про ГСы это отдельная тема. Речь про данную ситуацию: вижу что у сайта фиговая ранжируемость и пытаюсь понять почему.
советую перечитать источник внимательнее :)
страничка с рекламой партнерки (реферальной ссылокой) = спам.
Я тут криво написал - засыпаю уже. Сам сайт-магазин - спамом не является, спамом является сайт, который по партнерской программе продает товар из этого магазина. Это логично, да. Но в моем случае сам сайт-магазин, который жирный, трастовый и с хорошим ссылочным - ушел за топ 20 по большинству запросов. А сайт с ужасным дизайном хоть и зареганый 4 года назад и с отвратительным ссылочным - в топе сидит.
Тады понятно .
Все-таки у яши различалка проклевывается? ;)
Есть сайт донор, на нем размещена реф ссылка site.ru/game-name/?game=27526 - если посетитель переходит по этой ссылке, то его редиректит с адреса site.ru/game-name/?game=27526 на адрес site.ru/game-name/ проставляя ему попутно куку SALE_AFFILIATE=27526 - откровенное палево!
сайты с партнерками считаются спамом (почитайте инструкцию ассесоров Яндекса)
Там считаются сами партнерки спамом, а не сайт-истоник товара. Почитайте инструкцию ассесоров Яндекса ;)
Потому и я написал
Интересует именно учет ссылочной массы и пессимизация за счет реферальных ссылок, а не пессимизация партнерок ассессорами.
Я так думаю, что у него различалка не выросла .
В данном случае все печально - с каждой реф ссылки идет редирект + прописывается кука:
HTTP/1.1 301 Moved Permanently
Date: Tue, 16 Sep 2014 20:18:32 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
Server: Apache/2.2.15 (CentOS)
X-Powered-By: PHP/5.3.3
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Set-Cookie: SALE_AFFILIATE=27526 - ваще чтоб без палева.
Так что отследить именно такую ссылку вообще не проблема.
У автора темы простая и предельно понятная задача: "обойти все домены в зоне .ru и проверить главную страницу на вхождение определённой строки".
Коллеги, на каком языке предпочтительнее (в плане производительности) писать многопоточный граббер контента с сайтов?
Чую через пару страниц будет разговор про парсинг картинок с котиками, но никак не про задачу ТС :D
Как зачем? чтоб разогнать посетителей.
Вообще по идее нужно пессимизировать такую ерундовину как за попандеры.
Нет в нем ощутимых преимуществ.
Пффф... Построил дата центр, загрузил сервера с такими процами и можно пол Москвы отапливать.
Мхахахха отличный домен, аплодирую стоя.