DenisVS

Мне не было нужно, просто принял к сведению.

Есть лазейка, помимо покупки подделок.

Знакомая из Канады рассказала, что у их операторов есть привлекательные пакеты — айфон за недорого + оплата за связь, к примеру, на год. Если это как-нибудь располовинить…

Поместить директорию на tmpfs. В случае чего ребут и дело с концом…

Что-то не впечатляет PHP в этой задаче.

Вот на sh:

cat sitemap.xml | grep http: | awk -F \<loc\> '{print $2}' | awk -F \</loc\> '{print $1}' | sort -u

По аналогии, можно углУбить. Листать уже поддиректории. Ну а если… то и хрен с ними, мы же простенькое решение ищем, и готовы примириться с некоторой его неидеальностью.

Lazymouse, сообщу вам новость: поисковики умеют в точности подделывать юзерагент посетителя, и даже частенько пользуются этим, чтобы зафильтровать не в меру умных вебмастеров.

#!/bin/sh
DIR=/директория/содержимое/которой/надо/скопировать/   #Слэш не съедаем!
DIR_CONTENT=`ls -l ${DIR}  | awk '{print $9}'`

for DIRS_ITEM in ${DIR_CONTENT}; do
    echo Копируем ${DIR}${DIRS_ITEM}
    cp -r ${DIR}${DIRS_ITEM} /home/mama/
    sleep 10
done

https://support.mozilla.org/en-US/questions/976644

Наверное, ТС хочет запулить эти ссылки в какую-то программу.

shell есть?

grep и awk легко сделают.