любой нормальный человек уйдет от неадеквата. ибо завтра опять отключите, да и раз полезли так в наглую - не исключена вероятность что еще и покрадете наработки ТС...
а в чем противоправность парсинга?
Romka_Kharkov, смотря какие данные нужно бекапить и из типа данных исходить в способе резервного копирования.
Если это файловый архив общим размером много гигов, то полностью не набекапишь, это будет и дорого и затратно по ресурсам и времени.
Потому такие данные я предпочитаю бекапить по схеме:
раз в неделю полный бекап + остальные 6 дней инкрементный.
и архивация чисто в .tar, чтоб на случай повреждения архива можно было быстро и безгиморойно восстановить максимум данных.
Bash и Perl скриптов готовых кстати есть немало.
Сам пользуюсь самописным скриптом на bash, основной контент сайтов бекаплю полностью ежедневно, а статические файлы (картинки,архивы) инкрементный, чтоб на бекапном сервере не занимало лишнего места и сеть не забивать гигабайтами одних и тех же данных.
Палю тему. Нужно закупаться трансформаторами. в выключенном состоянии они не сгорят. потом можно будет продать их за очень много денег :)
в большинстве панелей управления хостингом есть функция создания бекапа, чтоб переливал на удаленный фтп. повесить на крон и проблема решена :)
Non-2xx responses - ошибок немало.
также нужно учесть, что даже если и 200ок там, то может быть контент с отвалившейся базой, это можно определить по логам сервера.
продал проект, все прошло оперативно, деньги получил наперед...
304 ответ можно получить только если послать специальный запрос (с инфой о том, какая версия документа у запрашиваемого имеется), а разве поисковые боты шлют такие запросы? раньше вроде точно не слали.
получается если хостер вам по ним не дал конкретных указаний, то gateway будет один...