А также для удаления из индекса тех страниц, что были проиндексированы, но потом ты их закрыл от индексации и хочешь чтобы яндекс выкинул из индекса побыстрее. Ну а если отправить нормальную страницу, то яндекс отклонит такую заявку.
Невозможно через этот инструмент случайно удалить нормальную страницу.
Я вам сразу написал: PHP CLI, читаете файл (целиком или построчно) и передаете каждую строку в PHP cURL, результат сохраняете в нужном виде.
Да через wget нормально, мне просто посмотреть ответы кодов состояния HTTP по списку URL.
В linux полно утилит по умолчанию, их просто комбнировать надо)
Вывести в консоль
или в файл
$ man man
$ man wget
$ man grep
$ man sh
Вы бы так и сказали:
Что надо:
wget -o log --spider -i links.txt
-i чтобы из файла ссылки взять, но они должны быть списком с каждой новой строки.
--spider чтобы он файлы не скачивал и не сохранял их в виде html страниц.
-o чтобы в файл все сообщения по обойденным ссылкам сохранил в виде лога.
Потом можно посмотреть сколько 404 или 200:
grep 404 log | wc –l
Потом можно посмотреть какие конкретно ссылки с 404:
grep -B 2 404 log
-B чтобы две строки до строки со статусом 404 показались в которой ссылка.
А linkchecker прикольная утилита, но что-то у меня не получилось ей скормить список ссылок из файла.
Наверное, для этих целей лучше curl использовать.
Этот парень был в теме крипты еще в 2010.
Потратил 10000 BTC (41$) на пиццу.
И что, у него не было еще 41$, чтобы откупить(или намайнить) и холдить? Я думаю у него было даже 50$ или 60$ !!!
Цена подскочила не на следующий день, вообще-то.
Больше жаль челиков, которые реально холдили на жестком диске, флешке. А потом их женам захотелось убраться на столе...
