chill

Рейтинг
34
Регистрация
24.07.2005

АПИ это конечно хорошо, вот только парсить мне нужно гораздо болше и чаще, чем этот АПИ позволяет 🚬

Очень, очень на то похоже. Если пытаюсь парсить без проксей - все просто летает.

На блокировку конкретных проксей указывает еще один фактор. Когда я прописываю прокси в своем браузере и начинаю лазить по сайтам - все ок до тех пор, пока я не захожу на Гугл. Гугл не пускает к себе через некоторые прокси!

Прокси 100% анонимные.

Вообще действия мои выглядит следующим образом:

  • Я вытягиваю первую страницу выдачи через прокси вот таким запросом http://google.com/search?q=test&filter=1&start=0&num=100
  • Я переключаю прокси и вытягиваю вторую страницу http://google.com/search?q=test&filter=1&start=100&num=100. На этом этапе мне выдается страница "302 Moved. The document has moved here." Слово "here" является ссылкой. Причем иногда это ссылка действительно ведет на 2-ую страницу выдачи, а иногда - на страницу, где Гугл рассказывает что мой IP заблокирован и просит ввести капчу

Я беру другой прокси - и все повторяется....

Блокирует даже если с каждым запросом менять proxy и добавлять задержку 10-15 секунд.

Пример тут урезанный немного просто. Прокси я-таки меняю перед каждым новым запросом к гуглу.

И мне в личку пожалуйста.

И мне в личку плз.

И мне в личку плз.

Пожалуйста инфу в личку.

Хранитель:
Как раз такой фразы в моем посте не было ;). Я торгую и смотрел с точки зрения пользователя. На сайте нет нужной трейдеру информации. Пока пустышка. С афф. ссылками Амазона и ненужным AdSense.

Видение простое: нужную информацию влево вверх.

Мы не претендуем в первые три месяца соревноваться с гигантами рынка forex. Сейчас составлен список низкочастотников, по которым мы планируем выйти используя статьи.

Идеальными считаются сайты, похожие на forexnews.com?

Хранитель:
Не верю ни одному слову. Такой сайт делается за пару часов. 8 авторов? Imho можно было бы и 80 написать. Они нафиг не нужны. Reuters вам не обогнать.

На форексных сайтах есть другие формы предоставления информации. Не читают трейдеры статьи ;).

Люди на обмен - просто ерунда. Там обмениваться не с кем. Весь обмен будет вам в минус.

Сайт, который нам показали - нежизнеспособен. Если говорить абстракно, то 2-ю страницу за 3 месяца сделать можно и все низкочастотники тоже.

Новости действительно не надо брать с сайтов-конкурентов, но новости и не нужны.

На чем основаны доводы о нежизнеспособности сайта. Я вижу только одну фразу "Сайт фуфло". Аргументируй, пожалуйста, свое мнение. Какое у тебя видение развития событий?

123
Всего: 22