Проверка ссылок ПП на бан

123
XPraptor
На сайте с 15.10.2004
Offline
333
#11
one:
Не, тогда сервисы не подходят. Интересует вариант проверки доступности URL'а для серфера. Доступен - даем. Недоступен, берем следующий.

Ну, дык так оно и есть. Проверяешь - если все ок, даешь, что-то не так- следующий берешь.

Или ты имеешь ввиду доступность самого твоего сайта на хостинге в данный момент?

one
На сайте с 15.04.2007
Offline
336
one
#12

Я имею в виду проверку доступности моего сайта для серфера минуя сервисы учитывая твой опыт.

Решения для автоматизации действий ( https://www.facebook.com/automationstudio20/ ) в интернете.
XPraptor
На сайте с 15.10.2004
Offline
333
#13

one, если ты про те же баны имеешь ввиду - то только по апи самих ПС, или через прямой линк как указал ранее. Браузеры используют эти же АПИ во время работы, только с более серьезными разрешениями чем индивидуальные аки.

Никак по другому бан ты не проверишь, без участия самих ПС, поэтому сигнал все-равно отправишь на пристальное внимание. Это не касается разовых проверок кончено, но какой то лимит есть в ПС, когда сработает тригер углубленной проверки, если проверять каждые 10 минут.

Была дыра в апи мозилы на заре сэйфбраузнига, можно было от имени браузера представится и запросить проверку масс доменов как буд-то мозила ты - но это пофиксили давно.

one
На сайте с 15.04.2007
Offline
336
one
#14

XPraptor, понятно. А если тупо проверять код ответа сервера 200? Прошла ссылка в броузере или нет для серфера. Ведь если она в бане, то ему будет ответ отличный от 200. Разьве не так?

Glueon
На сайте с 26.07.2013
Offline
172
#15

Вопрос не ко мне, но я честно не понимаю, а что вам код ответа сервера даст?

Речь же идет о детектах/банах в СЕ, а не о недоступности/блокировке доменов. Это если я правильно понял задачу в исходном посте. У VirusTotal через API без особых проблем можно выдернуть детекты по списку доменов, дальше в зависимости от результата заменить домены, куда сливается трафик с лендинга. Цена вопроса: 20-30 долларов у любого фрилансера, можно даже в Гугле найти что-то готовое типа: http://sketchymoose.blogspot.com/2013/11/checking-for-domainip-badness.html

С проверкой на бан в СЕ я уже хуже понимаю логику, но однозначно, что домены могут абсолютно нормально отвечать (читать как не отдавать код 200).

Есть много IP-сетей в аренду под прокси, парсинг, рассылки (optin), vpn и хостинг. Телега: @contactroot ⚒ ContactRoot команда опытных сисадминов (/ru/forum/861038), свой LIR: сдаем в аренду сети IPv4/v6 (/ru/forum/1012475).
one
На сайте с 15.04.2007
Offline
336
one
#16
Вопрос не ко мне, но я честно не понимаю, а что вам код ответа сервера даст?

Код ответа 200 - ссылка жива. Код ответа отличный от 200, например 40Х, 50Х или нет вообще ответа, ссылка в бане, блокируется броузером или антивирусом.

Речь же идет о детектах/банах в СЕ

Нет, не о ПС речь идет.

S
На сайте с 12.02.2010
Offline
101
#17

API яндекса и гугла позволяют (и рекомендуют) чекать домены не обращаясь к ним напрямую, для снижения нагрузки. Делается это в 3 этапа.

1) Выкачиваешь базу зараженных сайтов через их API. Но там в базе не домены, а хеши, причем короткие, т.е. могут быть ложные срабатывания.

2) С помощью алгоритма, описанного в их API, вычисляешь короткий хеш интересующего тебя домена и ищешь этот хеш в скачанной базе.

3) Если короткий хеш найден, то тогда уже запрашиваешь через API подтверждение, что срабатывание не ложное, передавая уже полный хеш домена.

Библиотеки на php для работы с API доступны и для яндекса и для гугла. Но там всё равно надо покумекать, просто так взять и запустить не получится.

XPraptor
На сайте с 15.10.2004
Offline
333
#18
one:
Код ответа 200 - ссылка жива.

Вот ща не понял, ты собираешься юзеру расширение свое ставить в браузер? Если да, то это решит проблему. А иначе, как ты собираешься проверить через браузер ответ?

---------- Добавлено 03.05.2019 в 09:51 ----------

sbseo, этот вариант для браузеров и крупных сервисов именно так они и работают - он не годится, так, как слишком большие объемы тягать нужно, а домены One могут уйти в бан за 10-20 минут, так, что ему нужно перекачивать обновления постоянно, а там в 30 минут меняется около 2млн хэшей.

Я пробовал этот метод тоже - он не идет. Нужен именно единичный запрос на АПИ по домену одному.

one
На сайте с 15.04.2007
Offline
336
one
#19
Вот ща не понял, ты собираешься юзеру расширение свое ставить в браузер? Если да, то это решит проблему. А иначе, как ты собираешься проверить через браузер ответ?

Я в поисках решения и изучения вопроса. Что можно и как...

Нужен именно единичный запрос на АПИ по домену одному.

Что как ты выше указал приводит в самое короткое время к бану ссылки.

XPraptor
На сайте с 15.10.2004
Offline
333
#20

one, а в какой ситуации тебе это нужно реализовать?

Можно-ли осуществлять проверку очень редко, например? На сколько часто вылетают в бан ленды, которые нужно проверять? Стоит-ли их проверять постоянно, или достаточно 1 раз в 3-5 часов и реже?

Просто, от ситуации, можно найти какое то приемлемое решение. Я вот на своих лендах решил немного по другому всё, у меня заходы на ленд пишутся в файл по 30 минут, потом я как и ты для проверки, можно-ли отдать ленд, или нет, запрашиваю файл этот и смотрю сколько заходов - если стало меньше чем должно быть (опытным путем по своем трафу измеряешь) то ищу другой ленд где с заходами все ок. А потом где отклонение с заходами прохожу руками раз в несколько дней и подтверждаю, что это бан, а не какой то сбой.

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий