Чем чекнуть несколько сотен K сайтов?

Р
На сайте с 29.06.2012
Offline
66
630

Есть большой список доменов. Многие без сайта, или домен просрочен уже, или с морды кидает на сайт.com/password (надо почту ввести/подписаться что б на сайт попасть).

Подскажите софт, что б отсеять такую вот всякую некондицию, что б на выходе получить чистый список нормальных рабочих сайтов.

R
На сайте с 20.07.2008
Offline
92
#1

для первичной фильтрации - из платных Netpeak Checker, но там есть триал может его и хватить.

Выставить проверку ответа сервера, и по ней уже смотреть в первую очередь.

Думка
На сайте с 07.03.2007
Offline
227
#2

из бесплатных XSEOChecker (столбец response как раз показывает ответ сервера)

⭐ Есть от 10к трафа дейли? - пиши в личку и получай больше чем в Адсенс и РСЯ! ⭐ Еще одна альтернатива Адсенсу: bit.ly/EzoicCom ⭐ Реально Самые Выгодные Пуши (bit.ly/ClickStarMe) Совместимо с Adsense и РСЯ! ⭐ ФБ группа Дорвейщиков - Палим Темы!!! (bit.ly/FBdor)
_
На сайте с 24.03.2008
Offline
357
#3

Скриптом елки... тут даже прокси не нужны.

Даже если чекать 1 сайт в 3 секунды, то это ~1000 в час, за 100 часов справитесь.

Но 1 в 3 секунды - это я не знаю... очень надо однопоточно чекать. Можно и сотни соединений в секунду открывать.

W
На сайте с 08.02.2017
Offline
159
#4

curl

10 символов

Комплексный аудит ИМ. Формирование УТП, анализ юзабилити, каналов продвижения. Контекстная реклама, настройка систем аналитики. Консультация - бесплатно, в ЛС
Р
На сайте с 29.06.2012
Offline
66
#5
_SP_:
Скриптом елки... тут даже прокси не нужны.
Даже если чекать 1 сайт в 3 секунды, то это ~1000 в час, за 100 часов справитесь.
Но 1 в 3 секунды - это я не знаю... очень надо однопоточно чекать. Можно и сотни соединений в секунду открывать.

Можно линк? Гугл дичь какую-то выдает) Заранее благодарен.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий