Очень, очень на то похоже. Если пытаюсь парсить без проксей - все просто летает.
На блокировку конкретных проксей указывает еще один фактор. Когда я прописываю прокси в своем браузере и начинаю лазить по сайтам - все ок до тех пор, пока я не захожу на Гугл. Гугл не пускает к себе через некоторые прокси!
Я переключаю прокси и вытягиваю вторую страницу http://google.com/search?q=test&filter=1&start=100&num=100. На этом этапе мне выдается страница "302 Moved. The document has moved here." Слово "here" является ссылкой. Причем иногда это ссылка действительно ведет на 2-ую страницу выдачи, а иногда - на страницу, где Гугл рассказывает что мой IP заблокирован и просит ввести капчу
Хранитель: Как раз такой фразы в моем посте не было ;). Я торгую и смотрел с точки зрения пользователя. На сайте нет нужной трейдеру информации. Пока пустышка. С афф. ссылками Амазона и ненужным AdSense.
Видение простое: нужную информацию влево вверх.
Мы не претендуем в первые три месяца соревноваться с гигантами рынка forex. Сейчас составлен список низкочастотников, по которым мы планируем выйти используя статьи.
Идеальными считаются сайты, похожие на forexnews.com?
Хранитель: Не верю ни одному слову. Такой сайт делается за пару часов. 8 авторов? Imho можно было бы и 80 написать. Они нафиг не нужны. Reuters вам не обогнать.
На форексных сайтах есть другие формы предоставления информации. Не читают трейдеры статьи ;).
Люди на обмен - просто ерунда. Там обмениваться не с кем. Весь обмен будет вам в минус.
Сайт, который нам показали - нежизнеспособен. Если говорить абстракно, то 2-ю страницу за 3 месяца сделать можно и все низкочастотники тоже.
Новости действительно не надо брать с сайтов-конкурентов, но новости и не нужны.
На чем основаны доводы о нежизнеспособности сайта. Я вижу только одну фразу "Сайт фуфло". Аргументируй, пожалуйста, свое мнение. Какое у тебя видение развития событий?
АПИ это конечно хорошо, вот только парсить мне нужно гораздо болше и чаще, чем этот АПИ позволяет 🚬
Очень, очень на то похоже. Если пытаюсь парсить без проксей - все просто летает.
На блокировку конкретных проксей указывает еще один фактор. Когда я прописываю прокси в своем браузере и начинаю лазить по сайтам - все ок до тех пор, пока я не захожу на Гугл. Гугл не пускает к себе через некоторые прокси!
Прокси 100% анонимные.
Вообще действия мои выглядит следующим образом:
Я беру другой прокси - и все повторяется....
Пример тут урезанный немного просто. Прокси я-таки меняю перед каждым новым запросом к гуглу.
И мне в личку пожалуйста.
И мне в личку плз.
И мне в личку плз.
Пожалуйста инфу в личку.
Как раз такой фразы в моем посте не было ;). Я торгую и смотрел с точки зрения пользователя. На сайте нет нужной трейдеру информации. Пока пустышка. С афф. ссылками Амазона и ненужным AdSense.
Видение простое: нужную информацию влево вверх.
Мы не претендуем в первые три месяца соревноваться с гигантами рынка forex. Сейчас составлен список низкочастотников, по которым мы планируем выйти используя статьи.
Идеальными считаются сайты, похожие на forexnews.com?
Не верю ни одному слову. Такой сайт делается за пару часов. 8 авторов? Imho можно было бы и 80 написать. Они нафиг не нужны. Reuters вам не обогнать.
На форексных сайтах есть другие формы предоставления информации. Не читают трейдеры статьи ;).
Люди на обмен - просто ерунда. Там обмениваться не с кем. Весь обмен будет вам в минус.
Сайт, который нам показали - нежизнеспособен. Если говорить абстракно, то 2-ю страницу за 3 месяца сделать можно и все низкочастотники тоже.
Новости действительно не надо брать с сайтов-конкурентов, но новости и не нужны.
На чем основаны доводы о нежизнеспособности сайта. Я вижу только одну фразу "Сайт фуфло". Аргументируй, пожалуйста, свое мнение. Какое у тебя видение развития событий?