Наоборот, я всегда стараюсь вести диалог именно о предмете проблемы, отклонения на "подводную часть айсберга" возникают не по моей вине. Вы должны понять, я не могу выложить здесь полный код проекта, даже если это увеличит шансы на его оптимизацию. Это коммерческий проект, и если он попадет в общий доступ, доверие моих партнеров, с которыми я сотрудничаю, ко мне может пошатнуться.
Благодарю всех участников темы, Ваши советы оказались для меня очень полезными. А именно:
1. Преобразование результата работы javascript-функции md5() к "сырому" бинарному виду.
2. Разбиение одного большого файла кэша на несколько, пусть даже тысяч (но в пределах разумного) мелких - это хорошее решение.
Но тему, думаю, стоит оставить открытой. Так как еще не было ответа на вопрос, действительно ли у разных частей MD5-хэша одной длины одинаковая вероятность коллизий. Этот ответ важен для тех, кому приходится сокращать MD5-хэш путем усечения (важно знать, какую половину выгоднее оставлять: первую или последнюю).
Большое спасибо за подсказку. Это даже в голову мне не приходило, что в браузере может быть своя БД...
Chukcha, нет смысла переносить проект на другой язык и делать полную реорганизацию. Все прекрасно работает уже полтора года. Просто пришло время небольшой доработки и, следовательно, мелких оптимизаций.
Менять платформу, подключать БД я начну, будучи уверенной, что данные действия повысят общую эффективность минимум в 2-3 раза. Долго объяснять, но просто вся работа уже настроена под iMacros. На замену всего с нуля уйдет слишком много времени, и оно того не стоит.
Только что вспомнила, что с Javascript я уже работаю более 1,5 года (в одном из предыдущих сообщений написала, что менее года). Вот время быстро летит...
Ayavryk, идеальных [универсальных] решений не бывает никогда. Разработка любого алгоритма почти всегда зависит от ситуации, в которой он будет применяться. В моем случае сохранение 5-6 Мб кэша в текстовом файле(ах) намного проще и выгоднее, чем установка и дополнительная растрата ресурсов на MySQL. Был бы размер данных 100 и более Мб, я бы не раздумывая использовала базу данных.
Chukcha, все верно. Экономия всего 0.5 секунды на одной итерации скрипта увеличит общую эффективность проекта более чем на 10%. Другими словами, на данный момент скрипт обрабатывает 100 тыс. входящих сообщений в сутки. После оптимизации работы с кэшем он сможет обрабатывать около 110 тыс. сообщений. Направление основной оптимизации уже выбрано - это разбиение общего кэша на более мелкие файлы. По возможности будет реализована работа с хэшами в бинарном виде, по предложенному уважаемым siv1987 варианту.
megallodon, попробуйте плеер от http://uppod.ru/
При отображении нескольких плееров на странице их работу можно контролировать с помощью AJAX:
Злоупотребление цензурой привело к популярности
http://torrentfreak.com/dmca-abuse-will-cause-censored-product-review-to-go-viral-130731/
July 31, 2013
Производитель осветительного оборудования доказал, что цензура критики – на самом деле очень плохая идея. После того, как Интернет-пользователь опубликовал видео с далеко не лестным отзывом об их продукции, британская компания Rotolight намерено злоупотребила DMCA, чтобы удалить видео с сайта Vimeo из-за нарушения авторских прав. Но это не прошло бесследно, есть все признаки того, что теперь видео – и его последующее удаление – станут ярким примером эффекта Стрейзанд.
Запросы на удаление информации в рамках Закона об авторском праве в цифровую эпоху (DMCA) и их европейские аналоги являются инструментами, призванными помочь правообладателям при защите своих авторских прав.
Найдя материал или ссылку, которая ведет на содержимое, нарушающее их исключительные права, правообладатели могут отправить сайту или службе специальное электронное письмо и в кратчайшие сроки неугодный им контент будет удален.
Миллионы подобных писем-уведомлений отправляются безо всяких проблем и не привлекают к себе внимания. Но время от времени некоторые действия правообладателей становятся всемирно известными.
Дэн Ленни занимается в F-Stop Academy. Недавно он снял сравнительный видео-обзор осветительной продукции, в котором среди прочей описал и продукцию британской компании Rotolight Limited.
«Как режиссер и педагог я чувствую, что мое призвание – тестирование и сравнение продукции», объясняет Дэн.
«Производители делают разного рода заявления и все же, когда мы самостоятельно их проверяем и убеждаемся в противоречивом характере маркетинга, мы должны иметь право на публикацию результатов».
Что Дэн и сделал, выложив свой видео-обзор на Vimeo. Но видео было доступно для просмотра не долго. Rotolight пожаловалась на видео, заявив, что оно нарушает авторские права компании, и администрация Vimeo его удалила.
По мнению Ленни, компании Rotolight не понравились не лестные отзывы об их продукции.
«Вы покупаете осветительную продукцию, потом делаете сравнительный обзор в условиях, для использования в которых она разрабатывалась и публикуете результаты в виде информационного видео, чтобы помочь людям в выборе – что здесь такого?», спрашивает Дэн.
«Тем не менее, Rotolight обвинила меня в нарушении авторских прав просто потому, что им не нравятся результаты…? Что за….? Компания утверждает, что делает «Самое лучшее в мире LED освещение», но когда мы протестировали его, результаты оказались неутешительными».
После этих слов Дэна, Rotolight начала извиняться.
«Мы хотели бы искренне извиниться за причиненные неудобства, но мы сделали это не специально и надеемся, что вы примете наши извинения», писала компания на Facebook.
«Просто нам кажется, что тестирование было не корректным или проводилось не на нашей продукции, и мы рады предоставить вам возможность повторно проверить нашу осветительную продукцию, если захотите. Мы хотели бы пригласить вас в наши офисы в Pinewood Studios для повторных тестов в любое удобное для вас время».
Так что ребята из Rotolight теперь не только не отрицает, что удалила видео-обзор Дэна из-за того, что не согласны с его мнением, но и приглашают его провести повторные тесты под их надзором. Если маркетологи Rotolight не слышали об эффекте Стрейзанд, им нужно немедленно о нем почитать, так как их усилия, по всей видимости, будут напрасными – видео-обзор Ленни, благодаря им, уже стал одним из самых популярных роликов в сети Интернет.
----------
Пояснения от меня (с использованием Википедии):
Эффект Стрейзанд (англ. Streisand effect) — феномен, выражающийся в том, что попытка удалить определённую информацию приводит лишь к её более широкому распространению, часто посредством сети Интернет. К примеру, попытка ограничения доступа к фотографии, файлу, тексту или числу (например, юридическими методами) приводит к дублированию данной информации на других серверах, появлению её в файлообменных сетях или иному тиражированию и распространению.
Термин Эффект Стрейзанд получил распространение после инцидента в 2003 году, когда Барбра Стрейзанд обратилась в суд с требованием взыскать с фотографа Кеннета Аделмана (Kenneth Adelman) и сайта Pictopia.com $50 млн, так как фотография её дома была доступна среди 12 000 других фотографий побережья Калифорнии. Аделман утверждал, что он сфотографировал дом наряду с другими домами на побережье в рамках проекта California Coastal Records Project, изучающего эрозию побережья по разрешению и заказу правительства.
До того, как Стрейзанд подала иск, фотография номер 3850 была скачана с сайта проекта всего 6 раз; два из скачиваний произведены адвокатами Стрейзанд.
Позже журналист Пол Роджерс (San Jose Mercury News) заметил, что в результате распространения информации об иске фотография дома Стрейзанд стала очень популярна в интернете. Например, в месяц после подачи иска изображение было просмотрено более чем 420 тысячами посетителей.
Аделман заявил, что информация об иске привлекла к его веб-сайту более миллиона посетителей, а фотографию использовала в своем сообщении организация Associated Press, что привело к её перепечатке в множестве газет во всем мире.
Другие примеры:
5 декабря 2008 года неправительственная британская организация Internet Watch Foundation (IWF) внесла в чёрный список сайтов, содержащих детскую порнографию, статью Википедии Virgin Killer о музыкальном альбоме 1976 года немецкой группы Scorpions, заявив, что на обложке альбома приведено потенциально незаконное изображение ребёнка. Статья быстро стала одной из самых популярных на сайте, а из-за публичного обсуждения цензуры изображение распространилось по множеству сайтов в сети. Позже IWF сообщило новостной организации BBC News, что задачей IWF является уменьшать доступность неподобающих изображений детей в интернете, но в этом случае их попытки привели лишь к обратному эффекту. Этот эффект упоминался IWF в их заявлении, поясняющем удаление страницы Википедии из чёрного списка.
В декабре 2010, вебсайт WikiLeaks подвергся DoS атаке и блокированию со стороны провайдеров интернета после опубликования утечки дипломатических телеграмм США. Множество людей, симпатизирующих проекту WikiLeaks, создали зеркала веб-сайта, чтобы затруднить немедленное цензурирование данных.
beginerx, у меня нет проблем с сохранением/считыванием файлов. Тема немного о другом, прошу обратить внимание.
semenov, кстати, рассматривала такой вариант. К тому же CRC32 работает в несколько раз быстрее, чем MD5, и длина хэша в 3 раза короче. Вот только с вероятностью коллизий я так и не разобралась. Она в CRC32 равна одному случаю на миллиард (в моей ситуации это приемлемо). Но как алгоритм себя ведет с практически похожими данными (similar_text() показывает иногда до 85-90% схожести поступающих данных с уже присутствующими), мне выяснить не удалось.
beginerx, покажите, пожалуйста, пример сохранения на локальном диске файла с именем Test.txt и содержимым "qwerty". Я Вам буду очень признательна.
