- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В общем, пытаюсь загрузить страницу http://www.yandex.ru/yandsearch?ras=1&zone=anchor&lang=all&within=0&mime=all&Link=www.site.ru&rstr=&site=&numdoc=50 через file_get_contents, а он фигу. В еррор лог такая вот строчка:
Это что, яндекс проверяет юсер-агент или просто блокировал доступ к этим страницам с моего IP (раньше с него бэки не смотрел, вроде с него же работает граббер позиций в поиске, хостинг мастерхост)?Попробуйте использовать прокси в php скрипте при обращении к яндексу или посылать заголовки, более похожие на заголовки пользователя-человека.
Только что запустил у себя на локальном сервере скрипт:
Всё работает.
Скорей всего у Вас по ip отсекает. Попробуйте через прокси, что бы убедиться.
Oniks, блокировал, чаще блокируют хостинги откуда много запросов идет.
выход - делать ретранслятор на другом сайте, менять хостинг или пытаться договориться о снятии запрета на доступ с этого IP
YA IP быстро банит, используйте проксю или другой сервер,
а в скрипте нужно уменьшать число запросов к ya в минуту, ну и до кучи в хеадере заголовки похожие на реальный браузер посылать...
Чтобы договориться о снятии запрета на доступ с IP мысль интересная, но вот пройдет ли такой номер?
Может нам тут ответят представители яндекса? :)
YA IP быстро банит
никогда такого не замечал. В отличие от гугли...
А у меня была такая ситуация, когда массово беки по адресам проверять начал, кстати гугл, то же количество обращений выдерживает спокойно...
azzz, дык надо юзером прикидываться, а не тупым fopen или file_get_contents тащить. CURL или fsockopen вам в помощь :)
Что вы как дети? Конечно Яндекс фиксит обращения роботов и банит IP.
Потому что страница с бэклинками запрещена для посещения роботов. Если вы напишете в саппорт и объяснитесь, то IP разбанят.
Кстати. Для доступа в интернет Эксел использует ядро Эксплорера, поэтому если Эксел запрашивает информацию со сторонних сайтов, то выглядит и ведет себя как обычный пользователь. Но надо понимать, что обычный пользователь не может делать 10 запросов в секунду, например ;)
azzz, дык надо юзером прикидываться, а не тупым fopen или file_get_contents тащить. CURL или fsockopen вам в помощь :)
Сокеты работать не будут - будет то же самое ;)
Обижаете, mustafa,
из-за того что скрипт прикидываются юзером гугл IP и не банит :)
А вот ya - только так...
Кстати, я LWP использую (куки, авторизация, ssl и т.п.)
azzz, дык надо юзером прикидываться, а не тупым fopen или file_get_contents тащить. CURL или fsockopen вам в помощь :)