Artisan

Artisan
Рейтинг
392
Регистрация
04.03.2005
Интересы
Беларусь, Минск, наука, техника, ...
Пишу программы для вычислительных машин, от драйверов устройств, до сложных систем для работы с большим количеством знаний. Умею бережно использовать железо, и другие ресурсы. Образец изделия: ( www.leak.info ) / изучайте ДАРОМ входящие указатели конкурентов и забытых доменов. Бесплатный обучающий курс (на русском языке) про это изделие: stepik.org/278486
Жорик #:
Вот статейка на тему таких алгоритмов. Меня интересует имел ли кто дело у себя и может что-то сказать об опыте.

Там написано то, что я написал выше. Надо не ограничиваться изучаемым документом, а искать разницу между изучаемым документом, и набором документов на разные темы. TF-IDF (Term Frequency -- Inverse Document Frequency), и дальше по списку. Полезность зависит в основном от набора документов, который используется для обучения системы. Кто-то знает слова болт, винт, шуруп, шпилька, червяк, ... А для кого-то все эти предметы обозначаются одним словом винтик.

Vladimir SEO #:
Невозможно написать текст про стул, использовав массово другие слова и не использовав слово стул.

Возможно, но смысл такого текста тоже зависит от других текстов.

5stars :
Подскажите ошибки https://lazurnoe74.ru
Google уважает хорошие входящие линки, которых нет у этого сайта. А тот мелкий вес цитирования (также известный как PageRank), который есть у этого сайта, зря уходит через бесполезные линки на кнопках счётчиков.
NikSolovov #:
Простой сайтик никому не интересен для взлома)

Сайтик может быть не интересен, но машина, на которой размещён сайтик, может быть интересна.

посмотри :
вопрос это не взломают?

Если такой вопрос, то лучше наймите того, кто умеет это делать.

Vladimir SEO #:
самые частотные по тексту

Для понимания смысла изучаемого текста надо делать наоборот, при этом не ограничиваться одним изучаемым текстом, а находить разницу между изучаемым текстом, и набором текстов на разные темы.

webinfo #:
использовать сайт ТС вместо  CDN - весьма неглупая идея.

CDN здесь не сайт начальника темы, а прокси с кэшированием.

Максим Кучеров #:
Посещаемость не изменилась, кроме трафика в терабайтах.

Возможно HTML страницы все в кэше, а для видео у них мало места, поэтому приходится подгружать. Если публика через прокси не понимает Вашу рекламу, или эта реклама не показывается для их страны, то доход не должен увеличиваться. Поэтому надо думать. Для добычи дохода можно клеить в начало видео файлов рекламу, которая будет понятна такой публике. Можно начать с заставки МЕСТО ДЛЯ ВАШЕЙ РЕКЛАМЫ на официальных ООН языках, с адресами для связи. Только для файлов, которые отдаёте в эту сторону, а всем остальным посетителям отдавать файлы без дополнительной рекламы.

webinfo #:
позволяют проксировать сайт.

Вы так пишете, как будто это что-то плохое. Умные люди с посещаемыми сайтами платят деньги за CDN (content delivery network) сервисы, а здесь это мясо само приползло.

Максим Кучеров #:
Но думаю если есть цель, они ее будут добиваться и дальше.

Вирусная посещаемость может как появиться, так и пропасть, или появляться при редких условиях. Если это действительно Саудовская Аравия, то было бы лучше не запрещать, а использовать такое счастье.

Максим Кучеров #:
Кто там будет через америку в 4 айпи бегать целой страной?

Не обязательно целой страной, там достаточно богатых людей. Ваше описание похоже на работу прокси с кэшированием.

https://developer.amazon.com/amazonbot

  • Locate the accessing IP address from your server logs
  • Use the host command to run a reverse DNS lookup on the IP address
  • Verify the retrieved domain name is a subdomain of crawl.amazonbot.amazon

  • Reverse DNS lookup, который советуют для проверки, есть PTR запись в ответе DNS сервера. Для IP номеров из Вашего списка ответы DNS сервера такие.

    55.5.11.52.in-addr.arpa. 218	IN	PTR	ec2-52-11-5-55.us-west-2.compute.amazonaws.com.
    
    94.9.211.34.in-addr.arpa. 79 IN PTR ec2-34-211-9-94.us-west-2.compute.amazonaws.com.
    32.161.11.52.in-addr.arpa. 43 IN PTR ec2-52-11-161-32.us-west-2.compute.amazonaws.com.

    Никаких (crawl.amazonbot.amazon) не найдено, то есть похоже, что кто-то маскируется под (Amazonbot-Video) робота. Возможно, это хитрые живые люди смотрят кино через прокси с кэшированием. А почему, и какие люди, надо думать, а для этого надо лучше изучать обстановку.

    Максим Кучеров #:
    А вообще для каких целей может амазон юзать так усиленно и трафик генерировать?

    Вы пишете слишком мало для ответа на вопросы.

    1. Какие User Agent в логах при запросах от прожорливых IP номеров?

    2. Скачивают много разных файлов по одному разу каждый файл, или мало разных файлов много раз каждый файл?

    Адрес Вашего сайта (или некоторых файлов) мог попасть в какую нибудь страну, пользователи из которой могут получать Ваши файлы только через прокси, и вирусно передаваться между пользователями. Тогда запретом IP номера (и тем более многих IP номеров) Вы можете отказать этим посетителям. А страна может быть богатая, например Саудовская Аравия, и реклама на неё может быть прибыльная.

    Всего: 6287