Brand from Amber

Brand from Amber
Рейтинг
308
Регистрация
18.08.2007
-= Serafim =-:
Есть такие проекты, которые без денег сделать практически невозможно. Или можно сделать что то сырое и ужасное

Дело скорее в том, что без денег невозможно конкурировать с теми, у кого деньги есть. Как только малобюджетный проект станет хоть сколько-нибудь интересен - сразу же начнут появляться его клоны, выполненные на качественно ином уровне.

P.S. Правда в случае ТС наблюдается обратный процесс, но это, скорее, исключение ))

Dram:
Смотрю на конкурента главного, у него ссылок на сайт более 70000. Откуда столько? Неужели тратят десятки тысяч на покупку ссылок

А почему бы оптимизатору не потратить десятки тысяч на ссылки? ...особенно учитывая тот факт, что средний бюджет (на продвижение) средний компании исчисляется сотнями тысяч!

А чем будет отличаться "менюшная" <a href="#">бла бла</a> от "неменюшной" <a href="#">бла бла</a> ?

Зачем 1px... Скрытые формы ввода широко применяются в Интернете. К примеру, зайдите на я.ру, откройте исходный код и сделайте поиск по "hid" )

  • Во всех.
  • Затраты на создание движка будут равняться затратам на содержание штата программистов + дизайнера + бухгалтерии.
  • Какой глупый вопрос (сори) - неужели вы думаете, что rutube хостится за 150 р.в м.? Конечно нужен свой сервер (и не один, а штук 20)
  • Проблемы с законом могут быть даже в том случае если Вы ничего противозаконного не делаете.

P.S. В цифрах... ну, скажем 300 - 500 к.у.е. (для начала)

P.P.S На этом форуме неоднократно поднимались подобные темы - поищите.

Semonitor:
Она бесполезной стала - поисковики стали такие запросы отслеживать, поэтому убрали

Элитный анонимный прокси-сервер (сервер, не передающий HTTP_VIA и HTTP_X_FORWARDED_FOR) определить практически невозможно.

Для их блокировки ПС могут:

  • Использовать т.н. Блек-листы и осуществлять определение списка проксти по их IP.
  • Привязываться к частоте запросов информации схожей тематики - к примеру если, в течение 5-и секунд запросили:
    • http://yandex.ru/yandsearch?text=test&numdoc=50
    • http://yandex.ru/yandsearch?p=1&numdoc=50&text=test
    • … И т. д…
    • http://yandex.ru/yandsearch?p=10&numdoc=50&text=test
  • Помимо частоты можно привязываться и к реферерам. Согласитесь, что неестественно выглядит переход пользователя на страницу http://yandex.ru/yandsearch?p=1&numdoc=50&text=test, если перед этим клиент (IP), как минимум, не посетил http://yandex.ru/yandsearch?text=test&numdoc=50.
  • Служебная информация через куки (аля реферары)

Других способов определения работы через прокси (не считая бара) я не вижу, а те которые я перечислил легко обходятся:

  • Не палить списки своих прокси (это относится к пользователю).
  • Запрашивать информацию схожей тематики только с одного прокси (IP) с промежутками от 1 до 10-и секунд.
  • Передавать правильные реферары
  • Передавать правильные куки

Зато скорость работы ПО использующего правильную сеточку анонимных прокси-серверов ускоряется многократно. По-моему, хорошая фишка была – зря убрали. Уверен, если вы добавите возможность пользоваться собственными списками прокси-серверов + реализуете те возможности которые я озвучил – удобство пользования вашим продуктом увеличится ровно на столько, на сколько уменьшится скорость парсинга данных.

site-money:
От чего или кого защищаются?

От роботов, вестимо.

Ну не усмотрели модераторы (8 утра - люди не проснулись до конца)... сейчас, к примеру, более поздняя новость уже убрана.

Когда два авторитетных новостных агентства публикуют новость на одну и ту же тему - это рерайт? Вы заблуждаетесь!

xsash, позволю предположить, что скрипт "/script.js" является единицей динамической, т.е каждый раз генерируется новый вариант этого скрипта в зависимости от переданных на сервер параметров. Сам скрипт при этом может не являться статическим файлом, а отдаваться генерирующим его скриптом, который просто меняет контент-тайп возвращаемых данных. ...но даже при такой реализации не вижу сложностей для парсинга 🚬

Semonitor, а как обстоят дела с льготами (и прочими акциями) при покупке вашего продукта членами данного форума? :o

P.S Да, и что-то я не нашёл в Ranking Monitor 4.1 (Demo) возможности работы через заданный список внешних прокси (в более ранних версиях демок по-моему такая возможность присутствовала)

P.P.S. Каюсь - предыдущие темы не читал.

Всего: 3101