- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Пытаюсь спарсить информацию из каталога на сайте ajax скриптом.
Из за недавних ddos атак очевидно на сайте установили какую то защиту, из за которой после 10 страницы сайт выдает 500 ошибку при запросе с моего IP.
Пробовал увеличивать интервал между запросами, устанавливал рандомное значение интервала - не помогает.
Есть еще какие либо варианты обойти защиту?
Использовать прокси.
Использовать прокси.
и какой смысл? во первых - скорость гораздо ниже, во вторых - нужно очень много проксей чтоб на каждые 10 товаров иметь ip
Совсем большие задержки ставить.
Куки используются?
Совсем большие задержки ставить.
Куки используются?
Совсем большие это какие? Я ставил 7 - 12 секунд. Куки незнаю, но авторизации там нет. Как можно проверить используются ли куки?
Это что такое?
Теперь все понятно...
Надеюсь Curl используется?
Заходим на морду, берем куку, идем парсить дальше - для начала так попробуйте
Теперь все понятно...
Надеюсь Curl используется?
Заходим на морду, берем куку, идем парсить дальше - для начала так попробуйте
Curl не используется. Где можно больше почитать по данной теме?
Curl не используется. Где можно больше почитать по данной теме?
Вы вообще на каком языке программируете парсер то?
Все зависит от того, что используется на сайте для такой защиты. Я лично такую делал, что спасти могли только наборы прокси, и никак иначе. Ни куки, ни тайм-ауты, ни подмены User-Agent, ничего бы не помогло.