- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте.
Подскажите пожалуйста, где взять список валидных ip подсетей, поисковиков.
Я раньше непомню откуда вытягивал данные, наподобие таких.
И т.д.
Моему списку уже больше года.
Проверяйте uset-agent и ptr, кешируя валидные, так у вас всегда будет актуальный список IP адресов.
baas, Если вам нужно проверить, настоящий ли поисковый бот или нет, то правильно делать не так. Google, Yandex, Microsoft и другие поисковики рекомендуют сначала преобразовать ip в имя хоста (для каждой ПС он будет в определенном формате), а полученный хост обратно в ip и сверить с оригинальным.
Есть определенные адреса подсетей поисковиков, откуда они приходят, но это всё может меняться со временем.
Проверка по принадлежности к сетевому диапазону компаний ненадежна, т.к. у них у всех есть облачные сервисы и масса псевдоботов ходят из microsoft azure например под видом bingbot'а.
Если свой сайт защитить от парсинга хотите, пишите в личку, могу помочь.
В поиске слово вбиваешь, для google, amazon вроде все выдает
https://whois.arin.net/ui/query.do?queryinput=google