Проверка доступности сайтов по списку

Ищите сервисы с функцией проверки обратной ссылок (так можете и поискать).

Но на корректность бесплатных сервисов я бы не рассчитывал, как правило они полурабочие, а c таким кол-во URL-ов и ещё повторными проверками вообще вряд ли.

#!/bin/bash

# Файл со списком URL
URL_LIST="urls.txt"

# Файл для результатов
OUTPUT_FILE="results.txt"

# Очищаем файл результатов
> $OUTPUT_FILE

# Перебор каждого URL в списке
while IFS= read -r url
do
    echo "Проверка $url"
    # Отправляем запрос и получаем HTTP-статус
    status=$(wget --spider --server-response $url 2>&1 | awk '/HTTP\// {print $2}')
    
    # Проверяем, был ли получен статус
    if [ -z "$status" ]
    then
        echo "$url - Недоступен" >> $OUTPUT_FILE
    else
        echo "$url - $status" >> $OUTPUT_FILE
    fi
done < "$URL_LIST"

echo "Проверка завершена. Результаты в файле $OUTPUT_FILE"

проще скриптик написать под свои условия)

Если бы шарил - непременно написал ) Но я даже не понимаю куда "засунуть" то, что вы написали. Я совсем не программист. 

Очень многие перепробовал, но большинство имеет ограничения на максимально число проверок, да и не всегда корректно выдают результат почему-то.

С этой же проблемой сталкивался, запилил сервис https://checkurl.streamlit.app/
Правда сам больше 350-400 доменов не чекал.

В сервисе есть баг, для повторной проверки надо использовать F5. Короче не все идеально.

Именно поэтому я ими и перестал пользоваться (включая платные), перепрофилировав эту задачу Zennoposter-у, где можно не просто анализировать ответ севера по факту (что кстати не гарантирует сохранение ссылки), но также сверять корректность записи, в случае, где вебмастер захочет закрыть страницы от индексации (что нередко случается). При этом можно анализировать дату текущего кеша, контролировать кол-во внешних, определять дату поискового кеша, проверять индексированность донорской страницы и вообще любую информацию в пределах доступности.

В полном объёме бесплатные чекеры такую информацию не предоставляют, да и платные надо сказать, тоже могут порядком глючить и не исправлять свой инструмент в течении продолжительного времени.

Опа... Отлично, проверю. Спасибо!

Отправил на проверку 130 URL и после проверки почти 2/3 из них получил такое:

Никаких результатов проверки не получил - только это сообщение.

Кстати, да.

Frog работает в режиме ручной проверки.

Всё довольно просто.

Переключаем режим работы,

Добавляем список URL-ов,

Выполняем проверку и по каждому URL-у получаем результат,

Далее сохраняем проект и перепроверяем по мере надобности.