- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
собственно необходимо делать постоянные обращения к выдаче яндекса. Причем каждый день, каждый час, каждую минуту и желательно каждую секунду. XML не интересует, нужна живая выдача.
Вопрос к опытным дорвейщикам (знаю что многие дорвейщики парсят живую выдачу):
прокси и хоть каждую секунду парсь
без них, ну раз в 5-7, 7-9сек
без них, ну раз в 5-7, 7-9сек
а что по заголовкам? Какой User-Agent лучше использовать? Нужно ли включать кукисы? Или это все не важно?
А чем ее заразу, нынче парсят, а то яшкалюб сдох? :(
Гугл парсит, а яндекс не хочет.
По моему опыту каптча вылезала если менее 15 сек.
В гугле ставлю примерно 19-22, каптча вылезает редко
В гугле ставлю примерно 19-22, каптча вылезает редко
и сколько максимум в сутки с одного ИП можно обратиться к гуглу?
а что по заголовкам? Какой User-Agent лучше использовать? Нужно ли включать кукисы? Или это все не важно?
да несколько поставь агентов и хватит, у меня в доргене штук 400, но и с 1 всё тоже самое вроде))
куки включаю по привычке)
---------- Добавлено 19.09.2015 в 13:08 ----------
и сколько максимум в сутки с одного ИП можно обратиться к гуглу?
да докуя 😂
Какой User-Agent лучше использовать?
Вот с этими парсь. Не банит вообще.
Mozilla/5.0 (Windows; U; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)
Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)
Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4325)
Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.1)
Mozilla/45.0 (compatible; MSIE 6.0; Windows NT 5.1)
Mozilla/4.08 (compatible; MSIE 6.0; Windows NT 5.1)
Mozilla/4.01 (compatible; MSIE 6.0; Windows NT 5.1)
Mozilla/4.0 (X11; MSIE 6.0; i686; .NET CLR 1.1.4322; .NET CLR 2.0.50727; FDM)
Mozilla/4.0 (Windows; MSIE 6.0; Windows NT 6.0)
Mozilla/4.0 (Windows; MSIE 6.0; Windows NT 5.2)
Mozilla/4.0 (Windows; MSIE 6.0; Windows NT 5.0)
Раз в ~1 секунду паршу без всяких проксей со своего айпи. Иногда сутками. Банов не встречал ни разу. Каптч там вообще нету.
Раз в ~1 секунду паршу без всяких проксей со своего айпи. Иногда сутками. Банов не встречал ни разу. Каптч там вообще нету.
Живую выдачу яндекса?
Каптч там вообще нету.
что то вы загоняетесь тут пацаны.. у яндекса и нет капчи при парсинге без задержки ?
что то вы загоняетесь тут пацаны.. у яндекса и нет капчи при парсинге без задержки ?
да, периодически с локальной машины дергаю выдачу без задержки, капчу дает 1-2 на 1к ключей (но это бывает только ночью и не постоянно). и бывают "критические" дни, на каждый ключ по 2-3 капчи вываливает.