Fobus: Вопрос в тему : Для Битрикса нужен отдельный серв или сойдет и обычный хостинг?
Вроди Битрикс слишком навароченный движок) лучше писать свой он будит быстрее и доступнее
Нужен отдельный сервер. Но это стоит того из-за мощнейшей статистики Битрикса и возможности подстраивать портал под разные источники посетителей. Плюс у Битрикса очень хорошая команда.
expertufa: ИМХО есть имидж и в контексте.
Слова-бренды. Допустим в недвижимости Миэль. Инком. Имидж продвигается простым упоминанием бренда.
А далее действуют законы психологии: 27 раз увидел - засело в голове, даже против твоей воли
То, что говорите Вы - теория. Реальные медиаизмерения не выявили роста известности ни от банерной рекламы, ни от контекстной. Исключение - точнейшие измерения Atlas на сотнях тысяч покупок, где удалось померять очень маленький эффект изменения конверсии для тех, кто ранее видел банер.
P.S. Давайте отделять наши гипотезы от прямых измерений.
AciD_PiG: Да, обычно наличие отписки (причем желательно на 2х языках) в письме уже является основанием для отклонения жалобы СпамКОПом и прочими фильтрами.
С шальными абузами бороться можно и на уровне хостера, когда проект у тебя белый, список адресатов длинный и есть ссылка в письме. Хостеру же очевидно, что случайность. Тем более при решении проблем за мой счёт. Вопрос в том, что делать с подставами?
AciD_PiG: А что касается таких пунктов, то в договор с Вами только дурак их внесет. У хостеров клиентов и без Вас хватит. Им лишний гемор из-за 10-20 долларов в месяц ни к чему.
Зачем 10-20 долларов? Доларов 200-300 или 5-10 кратная прибыль с сервера. :D Сервер один, а прибыль как с 10 :D
di_max: 1. Плиз, ссылку на такие подробности о Яндексе...
2. Обгонять Яндекс и не собирались.😂
Количество страниц в индексе есть у них на главной странице. информация о количестве серверов была в публичном доступе и может уже устарела. Причём подлном количестве серверов: с учётом краулеров, народ.ру, поисковых серверов и пр. барахла.
di_max: Если это адресовано мне...
1. Измерения проводились на 1000 разнородных страниц для получения среднего времени.
2. Скачка в потоках - ни кто не спорит. А парсить в потоках?😮
На многяйцевом оно конечно, можно...
Но эффективне, даже на 2-х яйцевом, в 2-х процессах.
Давайте считать реальную скорость обработки страниц. Обработка состоит из:
1. Выдирания всех ссылок с анкорами.
2. Выбрасывания всех тегов.
3. Обработки оставшегося текста стемкой.
4. Перевода стем-текста в последовательность чисел.
5. Подсчёт плотности слов.
6. Укладывание данных в базу.
7. Добавление данных о странице в индекс.
Для определённости, слова будут обрабатываться не морфологией, а стемкой. Это около 100 тыс. слов в секунду на моём ноуте (Селерон М). На хорошей странице в вебе обычно 2-3К слов. Это примерно 15К чистого текста или 25К html.
1. Выдирание всех ссылок с анкорами.
100 ссылок ~ 10^(-4) сек.
2. Выбрасывание всех тегов.
Один проход, так как надо выбросить скрипты и комментарии ~ 10^(-4) сек.
Один проход, так как теги ограничены символами '<' и '>' ~ 10^(-4) сек.
3. Обработка оставшегося текста стемкой.
3К слов / 100К слов/сек ~ 1/30 сек.
4. Перевод стем-текста в последовательность чисел.
Используем BerkeleyDB ~ 100К чтений слов в сек (база помещается в память) ~ 1/30 сек.
5. Подсчёт плотности слов.
Используем однозначный хешь ~ 10^(-4) сек
6. Укладывание данных в базу.
Используем BerkeleyDB ~ 60 Мб/сек ~ 3*10^(-4) сек
7. Добавление данных о странице в индекс.
Однопроходный алгоритм, зависит от размера индекса и определяется скоростью работы с жёстким диском ~ 60 Мб/сек. Подсчитать на пальцах трудно, так как здесь всё зависит от способа хранения данных, количества памяти и режима пакетной обработки.
Итого, без пункта 7, скорость обработки страницы ~ 1/15 сек - вот минимальная скорость обработки типичных страниц на моём бедном селероне. Это раз в 50 быстрее, чем у Ваших программистов.
kostich: Слава, Вы меня шокируете. Скрипт на sh + wget раз в сутки скачивают все главные страницы сайтов в .ru 😂 это не 200К страниц, а в разы больше. В контексте Вашей задачи Вы говорите фактически о производительности используемых прокси.
Я говорю отдельно о времени работы прокси и отдельно о времени вытаскивания 100 ссылок с каждой из 100 скачанных страниц. Безусловно, без прокси скачка была бы быстрее. Но скорость выдирания данных это бы не изменило. Думать о том, сколько времени займёт правильное распарсивание страницы, подсчёт плотности слов и складывание данных в базу даже не хочу. Оценочно - 1 секунда на страницу.
di_max: Лучшее, что смогли, пока, получить - 3,6 секунды на парсинг и индексацию страницы.
Гоните в шею программера. Яндекс при такой скорости переиндексировал бы Рунет со своими 70 серверами раз в 3,6*3 млрд. док/70 серверов/86400 сек/сутки = 1800 суток ~ 5 лет.
Kpd: Осталось найти серьезного хостера, который вас примет :)
Добавляйте в каждое письмо что-нибудь типа "Извините, если это письмо попало к вам по ошибке. Для отмены подписки перейдите по ссылке" и после перехода по ссылке ящик заносится в отдельный список и на него уже ничего не отправляется. Не панацея.
Это будет, безусловно. Один клик и человек отписался. От этого защиту найти можно. Что делать с профи-абузерами от конкурентов? Или тем же спамом: проспамить Москву можно всего за 100 баксов. Проспамить 10 своих адресов за 10 баксов, с учётом времени написания письма и 10 абуз-репортов в ДЦ.
Вопрос в тему : Для Битрикса нужен отдельный серв или сойдет и обычный хостинг?
Вроди Битрикс слишком навароченный движок) лучше писать свой он будит быстрее и доступнее
Нужен отдельный сервер. Но это стоит того из-за мощнейшей статистики Битрикса и возможности подстраивать портал под разные источники посетителей. Плюс у Битрикса очень хорошая команда.
ИМХО есть имидж и в контексте.
Слова-бренды. Допустим в недвижимости Миэль. Инком. Имидж продвигается простым упоминанием бренда.
А далее действуют законы психологии: 27 раз увидел - засело в голове, даже против твоей воли
То, что говорите Вы - теория. Реальные медиаизмерения не выявили роста известности ни от банерной рекламы, ни от контекстной. Исключение - точнейшие измерения Atlas на сотнях тысяч покупок, где удалось померять очень маленький эффект изменения конверсии для тех, кто ранее видел банер.
P.S. Давайте отделять наши гипотезы от прямых измерений.
Во всех женских журналах :)
Сразу видно умных рекламодателей.
Да, обычно наличие отписки (причем желательно на 2х языках) в письме уже является основанием для отклонения жалобы СпамКОПом и прочими фильтрами.
С шальными абузами бороться можно и на уровне хостера, когда проект у тебя белый, список адресатов длинный и есть ссылка в письме. Хостеру же очевидно, что случайность. Тем более при решении проблем за мой счёт. Вопрос в том, что делать с подставами?
А что касается таких пунктов, то в договор с Вами только дурак их внесет. У хостеров клиентов и без Вас хватит. Им лишний гемор из-за 10-20 долларов в месяц ни к чему.
Зачем 10-20 долларов? Доларов 200-300 или 5-10 кратная прибыль с сервера. :D Сервер один, а прибыль как с 10 :D
1. Плиз, ссылку на такие подробности о Яндексе...
2. Обгонять Яндекс и не собирались.😂
Количество страниц в индексе есть у них на главной странице. информация о количестве серверов была в публичном доступе и может уже устарела. Причём подлном количестве серверов: с учётом краулеров, народ.ру, поисковых серверов и пр. барахла.
Если это адресовано мне...
1. Измерения проводились на 1000 разнородных страниц для получения среднего времени.
2. Скачка в потоках - ни кто не спорит. А парсить в потоках?😮
На многяйцевом оно конечно, можно...
Но эффективне, даже на 2-х яйцевом, в 2-х процессах.
Давайте считать реальную скорость обработки страниц. Обработка состоит из:
1. Выдирания всех ссылок с анкорами.
2. Выбрасывания всех тегов.
3. Обработки оставшегося текста стемкой.
4. Перевода стем-текста в последовательность чисел.
5. Подсчёт плотности слов.
6. Укладывание данных в базу.
7. Добавление данных о странице в индекс.
Для определённости, слова будут обрабатываться не морфологией, а стемкой. Это около 100 тыс. слов в секунду на моём ноуте (Селерон М). На хорошей странице в вебе обычно 2-3К слов. Это примерно 15К чистого текста или 25К html.
1. Выдирание всех ссылок с анкорами.
100 ссылок ~ 10^(-4) сек.
2. Выбрасывание всех тегов.
Один проход, так как надо выбросить скрипты и комментарии ~ 10^(-4) сек.
Один проход, так как теги ограничены символами '<' и '>' ~ 10^(-4) сек.
3. Обработка оставшегося текста стемкой.
3К слов / 100К слов/сек ~ 1/30 сек.
4. Перевод стем-текста в последовательность чисел.
Используем BerkeleyDB ~ 100К чтений слов в сек (база помещается в память) ~ 1/30 сек.
5. Подсчёт плотности слов.
Используем однозначный хешь ~ 10^(-4) сек
6. Укладывание данных в базу.
Используем BerkeleyDB ~ 60 Мб/сек ~ 3*10^(-4) сек
7. Добавление данных о странице в индекс.
Однопроходный алгоритм, зависит от размера индекса и определяется скоростью работы с жёстким диском ~ 60 Мб/сек. Подсчитать на пальцах трудно, так как здесь всё зависит от способа хранения данных, количества памяти и режима пакетной обработки.
Итого, без пункта 7, скорость обработки страницы ~ 1/15 сек - вот минимальная скорость обработки типичных страниц на моём бедном селероне. Это раз в 50 быстрее, чем у Ваших программистов.
Слава, Вы меня шокируете. Скрипт на sh + wget раз в сутки скачивают все главные страницы сайтов в .ru 😂 это не 200К страниц, а в разы больше. В контексте Вашей задачи Вы говорите фактически о производительности используемых прокси.
Я говорю отдельно о времени работы прокси и отдельно о времени вытаскивания 100 ссылок с каждой из 100 скачанных страниц. Безусловно, без прокси скачка была бы быстрее. Но скорость выдирания данных это бы не изменило. Думать о том, сколько времени займёт правильное распарсивание страницы, подсчёт плотности слов и складывание данных в базу даже не хочу. Оценочно - 1 секунда на страницу.
Лучшее, что смогли, пока, получить - 3,6 секунды на парсинг и индексацию страницы.
Гоните в шею программера. Яндекс при такой скорости переиндексировал бы Рунет со своими 70 серверами раз в 3,6*3 млрд. док/70 серверов/86400 сек/сутки = 1800 суток ~ 5 лет.
Осталось найти серьезного хостера, который вас примет :)
Добавляйте в каждое письмо что-нибудь типа "Извините, если это письмо попало к вам по ошибке. Для отмены подписки перейдите по ссылке" и после перехода по ссылке ящик заносится в отдельный список и на него уже ничего не отправляется. Не панацея.
Это будет, безусловно. Один клик и человек отписался. От этого защиту найти можно. Что делать с профи-абузерами от конкурентов? Или тем же спамом: проспамить Москву можно всего за 100 баксов. Проспамить 10 своих адресов за 10 баксов, с учётом времени написания письма и 10 абуз-репортов в ДЦ.
Очень интересно как выглядел технически и программно Яндекс когда он только появился, где бы эту инфу нарыть? :)
http://www.turtle.ru/db/architecture/