В linux полно утилит по умолчанию, их просто комбнировать надо)
Вывести в консоль
или в файл
cat urls.txt | xargs -I {} -P 10 sh -c 'echo "{}: $(curl -s -o /dev/null -w "%{http_code}" "{}")"'
А также для удаления из индекса тех страниц, что были проиндексированы, но потом ты их закрыл от индексации и хочешь чтобы яндекс выкинул из индекса побыстрее. Ну а если отправить нормальную страницу, то яндекс отклонит такую заявку.
Невозможно через этот инструмент случайно удалить нормальную страницу.
Я вам сразу написал: PHP CLI, читаете файл (целиком или построчно) и передаете каждую строку в PHP cURL, результат сохраняете в нужном виде.
Да через wget нормально, мне просто посмотреть ответы кодов состояния HTTP по списку URL.
$ man man
$ man wget
$ man grep
$ man sh
Вы бы так и сказали:
Что надо:
wget -o log --spider -i links.txt
-i чтобы из файла ссылки взять, но они должны быть списком с каждой новой строки.
--spider чтобы он файлы не скачивал и не сохранял их в виде html страниц.
-o чтобы в файл все сообщения по обойденным ссылкам сохранил в виде лога.
Потом можно посмотреть сколько 404 или 200:
grep 404 log | wc –l
Потом можно посмотреть какие конкретно ссылки с 404:
grep -B 2 404 log
-B чтобы две строки до строки со статусом 404 показались в которой ссылка.
А linkchecker прикольная утилита, но что-то у меня не получилось ей скормить список ссылок из файла.
Наверное, для этих целей лучше curl использовать.
