Форум Практика оптимизации Сервисы и программы для работы с SE

Чем чекнуть несколько сотен K сайтов?

Р
На сайте с 29.06.2012
Offline
66
Рагожин
653

Есть большой список доменов. Многие без сайта, или домен просрочен уже, или с морды кидает на сайт.com/password (надо почту ввести/подписаться что б на сайт попасть).

Подскажите софт, что б отсеять такую вот всякую некондицию, что б на выходе получить чистый список нормальных рабочих сайтов.

R
На сайте с 20.07.2008
Offline
100
Reset
#1

для первичной фильтрации - из платных Netpeak Checker, но там есть триал может его и хватить.

Выставить проверку ответа сервера, и по ней уже смотреть в первую очередь.

IT_DED
На сайте с 07.03.2007
Offline
236
IT_DED
#2

из бесплатных XSEOChecker (столбец response как раз показывает ответ сервера)

⭐ Все мои рекомендации тут - https://in.gl/itded
_
На сайте с 24.03.2008
Offline
381
_SP_
#3

Скриптом елки... тут даже прокси не нужны.

Даже если чекать 1 сайт в 3 секунды, то это ~1000 в час, за 100 часов справитесь.

Но 1 в 3 секунды - это я не знаю... очень надо однопоточно чекать. Можно и сотни соединений в секунду открывать.

Борьба с ботами WP All Import Примите ли адсенс бумажный
W
На сайте с 08.02.2017
Offline
169
wicker
#4

curl

10 символов

Комплексный аудит ИМ. Формирование УТП, анализ юзабилити, каналов продвижения. Контекстная реклама, настройка систем аналитики. Консультация - бесплатно, в ЛС
Р
На сайте с 29.06.2012
Offline
66
Рагожин
#5
_SP_:
Скриптом елки... тут даже прокси не нужны.
Даже если чекать 1 сайт в 3 секунды, то это ~1000 в час, за 100 часов справитесь.
Но 1 в 3 секунды - это я не знаю... очень надо однопоточно чекать. Можно и сотни соединений в секунду открывать.

Можно линк? Гугл дичь какую-то выдает) Заранее благодарен.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий