-= Serafim =-: Есть такие проекты, которые без денег сделать практически невозможно. Или можно сделать что то сырое и ужасное
Дело скорее в том, что без денег невозможно конкурировать с теми, у кого деньги есть. Как только малобюджетный проект станет хоть сколько-нибудь интересен - сразу же начнут появляться его клоны, выполненные на качественно ином уровне.
P.S. Правда в случае ТС наблюдается обратный процесс, но это, скорее, исключение ))
Dram: Смотрю на конкурента главного, у него ссылок на сайт более 70000. Откуда столько? Неужели тратят десятки тысяч на покупку ссылок
А почему бы оптимизатору не потратить десятки тысяч на ссылки? ...особенно учитывая тот факт, что средний бюджет (на продвижение) средний компании исчисляется сотнями тысяч!
Помимо частоты можно привязываться и к реферерам. Согласитесь, что неестественно выглядит переход пользователя на страницу http://yandex.ru/yandsearch?p=1&numdoc=50&text=test, если перед этим клиент (IP), как минимум, не посетил http://yandex.ru/yandsearch?text=test&numdoc=50.
Служебная информация через куки (аля реферары)
Других способов определения работы через прокси (не считая бара) я не вижу, а те которые я перечислил легко обходятся:
Не палить списки своих прокси (это относится к пользователю).
Запрашивать информацию схожей тематики только с одного прокси (IP) с промежутками от 1 до 10-и секунд.
Передавать правильные реферары
Передавать правильные куки
Зато скорость работы ПО использующего правильную сеточку анонимных прокси-серверов ускоряется многократно. По-моему, хорошая фишка была – зря убрали. Уверен, если вы добавите возможность пользоваться собственными списками прокси-серверов + реализуете те возможности которые я озвучил – удобство пользования вашим продуктом увеличится ровно на столько, на сколько уменьшится скорость парсинга данных.
Не поверите - буду )) Можете аргументировать?
noosfera, Правда? А я думаю, что при прочих равных ПС к таким ссылкам относятся одинаково. Переубедите?
P.S. Вы со сквозняками не попутали?
Есть такие проекты, которые без денег сделать практически невозможно. Или можно сделать что то сырое и ужасное
Дело скорее в том, что без денег невозможно конкурировать с теми, у кого деньги есть. Как только малобюджетный проект станет хоть сколько-нибудь интересен - сразу же начнут появляться его клоны, выполненные на качественно ином уровне.
P.S. Правда в случае ТС наблюдается обратный процесс, но это, скорее, исключение ))
Смотрю на конкурента главного, у него ссылок на сайт более 70000. Откуда столько? Неужели тратят десятки тысяч на покупку ссылок
А почему бы оптимизатору не потратить десятки тысяч на ссылки? ...особенно учитывая тот факт, что средний бюджет (на продвижение) средний компании исчисляется сотнями тысяч!
А чем будет отличаться "менюшная" <a href="#">бла бла</a> от "неменюшной" <a href="#">бла бла</a> ?
Зачем 1px... Скрытые формы ввода широко применяются в Интернете. К примеру, зайдите на я.ру, откройте исходный код и сделайте поиск по "hid" )
P.S. В цифрах... ну, скажем 300 - 500 к.у.е. (для начала)
P.P.S На этом форуме неоднократно поднимались подобные темы - поищите.
Она бесполезной стала - поисковики стали такие запросы отслеживать, поэтому убрали
Элитный анонимный прокси-сервер (сервер, не передающий HTTP_VIA и HTTP_X_FORWARDED_FOR) определить практически невозможно.
Для их блокировки ПС могут:
Других способов определения работы через прокси (не считая бара) я не вижу, а те которые я перечислил легко обходятся:
Зато скорость работы ПО использующего правильную сеточку анонимных прокси-серверов ускоряется многократно. По-моему, хорошая фишка была – зря убрали. Уверен, если вы добавите возможность пользоваться собственными списками прокси-серверов + реализуете те возможности которые я озвучил – удобство пользования вашим продуктом увеличится ровно на столько, на сколько уменьшится скорость парсинга данных.
От чего или кого защищаются?
От роботов, вестимо.
Ну не усмотрели модераторы (8 утра - люди не проснулись до конца)... сейчас, к примеру, более поздняя новость уже убрана.
Когда два авторитетных новостных агентства публикуют новость на одну и ту же тему - это рерайт? Вы заблуждаетесь!