Форум Сайтостроение Веб-строительство

python urllib 403 forbidden

KK
На сайте с 25.07.2006
Offline
138
Kel_Kimpbell
1102

Подскажите плиз в чем может быть проблема.

Скрипт - простенький парсер на питоне типа:

from urllib import urlopen

site = urlopen("http://site.ru")

f = open('test.txt','w')

f.write(site.read())

f.close()

С локалки (windows) через эклипс запускаю - все работает. Запускаю на ВПСке (linux debian) - выдает 403 ошибку. Пробовал и через прокси, и заголовки прописывать. Ну никак не хочет. Причем именно для одного сайта. на google.ru или ya.ru заходит, записывает код в файл. А вот какраз на нужный сайт не хочет.

Подскажите плиз из-за чего же так происходит?

---------- Post added 26-07-2012 at 02:10 ----------

На другом серваке попробовал - работает все отлично. Причем на шаред хостинге пробовал.

А вот на впске не хочет. Видимо что-то с сервером...

IL
На сайте с 20.04.2007
Offline
435
ivan-lev
#1
С локалки (windows) через эклипс запускаю - все работает. Запускаю на ВПСке (linux debian) - выдает 403 ошибку.
...
А вот какраз на нужный сайт не хочет.

А VPS-ка "белая и пушистая"? Очень похоже, что "нужный сайт" именно для этого IP (или подсети..) выдаёт 403. Можно проверить wget-ом, например.

... :) Облачные серверы от RegRu - промокод 3F85-3D10-806D-7224 ( http://levik.info/regru )
KK
На сайте с 25.07.2006
Offline
138
Kel_Kimpbell
#2

ivan-lev, белая и пушистая. недавно только взял. Никаких множественных запросов не было. Да и через прокси ведь тоже пробовал, не помогло.

---------- Post added 26-07-2012 at 11:25 ----------

через wget пробую:

wget http://сайт.ru/robots.txt

выдает HTTP request sent, awaiting response... 403 Forbidden

2012-07-26 11:20:49 ERROR 403: Forbidden.

Заголовки Last-Modified и If-Modified-Since Поведенческие факторы, как замена Кэширование в браузерах и
IL
На сайте с 20.04.2007
Offline
435
ivan-lev
#3
белая и пушистая. недавно только взял.

Как бы так помягче сказать... Одно с другим не связано.. Неизвестно ведь, кто этот IP-шник ранее имел.

Мне, например как-то достался VPS, на который бэкдоры за распоряжениями приходили и инфу складывали.. Не сразу понял, откуда на "свежей" машинке такая нагрузка на HTTP %)

Kel_Kimpbell:
Да и через прокси ведь тоже пробовал, не помогло.

Прокси бывают разные.. В смысле, не все анонимные.. И не факт, что прокси также не забанен.

Kel_Kimpbell:
выдает HTTP request sent, awaiting response... 403 Forbidden

Т.е. вопрос не к python

Как влияют ссылки? смешно было потом, а Ошибка 403 от Яндекса

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий