vold57 : Интересует на сегодняшний день актуальность сервисов Чекушина just magic, в частности Акварель, Текстовый анализатор. Кто-то сейчас пользуется?
Разве что для экспериментов и тестовых оценок, в широкой практике я думаю он потерял свою актуальность (его вытеснили другие сервисы по текстовому анализу).
В принципе вообще сейчас тенденция заморачиваться глубоким текстовым анализом и расширением спектрам LSI слов ушла из тренда (скорее большинство довольствуется более доступными вариантами), сейчас тенденция бустить кликовые факторы, ибо они дают в Яндекс оживлённый рост, а проработка текстовой несет в себе вполне понятный исчерпаемый и негарантируемый эффект.
annaov#: Во временных файлах базы, я думаю, при желании, можно это все отловить, но, конечно. ковырять не хочется, раз не предусмотрено опционально.
Не предусмотрено, хотя практически конечно можно залезать во временные файлы и отсматривать, что там накапливается. Но что это вам даст? В моменте вы все равно не увидите результирующий объём ссылок на переобход, вы будете видеть на n% больше, чем уже обработанное.
Условно, вы обработали 200K ссылок, программа нашла 317K, а впереди ещё неизвестно сколько. Это может быть и 1M и 1.5M и 2M.
Что принципиально вам даст эта разница? Что вы вообще хотите от заявленного процесса?
annaov#: Интересно, у кого сколько выходит затрат, по времени, на своем ПК (обычном) при мягких настройках (3 потока), чтобы пройти примерно 1 млн ссылочной массы.
Думаю, что вряд ли есть массовая тенденция парсить 1 мнл. сайты.
Дело это скорее неблагодарное, чем полезное.
Если уж и решать какие-то задачи по таким сайтом, то разделяя их на составляющие.
annaov#: Сейчас обратила внимание, что до 30% (примерно), идет ее накопление с опережением обработки. Более суток. Потом случается разворот, и переработка ссылок уже опережает их добавление, но падает скорость.
Конечно, потому что объём анализируемых ссылок накапливается и сравнивать текущие ссылки становится медленнее, чем следовать по новым.
annaov#: Итого - ровно 1 неделя (обычный ноут, вин 10, интел 7 четыре ядра, 16Гб оперативки, выделено 6Гб лимита, дамп пишется сразу на жесткий). Память, кстати, работает с самоочищением (пляшет, на такой задаче, между 3Гб и 1Гб, к лимиту не подступая пока).
Тут уже интересно спросить - и что вы хотите выяснить про результат этого парсинга?
Какие именно данные вам нужны в общем объёме? Что полезного это вам даст и какую руководствующую мысль вы вынесете из этой части работы для последующего внедрения?
Мнения на данном форуме будут скорее следующие - лучше быть разработчиком с базовыми навыками самопрезентации, чем блестящим менеджером без разработчика :)
Хороших менеджеров с навыками разработки пока никто в природе не видел :)))
p.s.
И да, менеджер без команды - это всё равно, что мастер по ремонту обуви без мастерской.
Это только в мелких компаниях на фрилансе.
В любых средних и мелких it компаниях менеджер пол дня "на обходах", пол дня разгребают менеджерскую текучку.
Это я могу заявить абсолютно уверенно, потому что в прошлом 7 лет с ними плотно работал.
В командах которые занимаются энтерпрайз разработкой - там могут быть менеджеры сугубо по сопровождению.
менеджер в it - это продажник?
Если кроме сопровождения проекта занимается ещё и продажами (что весьма нередко), то - да, совмещает в себе две эти функции.
p.s. В web/seo студия чаще всего менеджеры занимаются продажами.
ТС не спрашивал о специализации. Он спросил кем лучше быть.
Именно о специализации, прочитай внимательно:
--
разработчиком сайтов или посредником между заказчиком сайтов и разработчиком сайтов?
--
А так конечно лучше быть богатым и здоровым, чем бедным и больным.
ты увлекаешься в графоманстве.
Во-первых, правильно - ты увлекаешься графоманством, во-вторых, уже ты демонстрируешь пустые претензии.
Написана как раз сама суть.
Интересует на сегодняшний день актуальность сервисов Чекушина just magic, в частности Акварель, Текстовый анализатор. Кто-то сейчас пользуется?
Разве что для экспериментов и тестовых оценок, в широкой практике я думаю он потерял свою актуальность (его вытеснили другие сервисы по текстовому анализу).
В принципе вообще сейчас тенденция заморачиваться глубоким текстовым анализом и расширением спектрам LSI слов ушла из тренда (скорее большинство довольствуется более доступными вариантами), сейчас тенденция бустить кликовые факторы, ибо они дают в Яндекс оживлённый рост, а проработка текстовой несет в себе вполне понятный исчерпаемый и негарантируемый эффект.
Тем, у кого есть поток заказов
Только это не выбор специализации - это следствие приложения рекламных усилий.
Во временных файлах базы, я думаю, при желании, можно это все отловить, но, конечно. ковырять не хочется, раз не предусмотрено опционально.
Не предусмотрено, хотя практически конечно можно залезать во временные файлы и отсматривать, что там накапливается. Но что это вам даст? В моменте вы все равно не увидите результирующий объём ссылок на переобход, вы будете видеть на n% больше, чем уже обработанное.
Условно, вы обработали 200K ссылок, программа нашла 317K, а впереди ещё неизвестно сколько. Это может быть и 1M и 1.5M и 2M.
Что принципиально вам даст эта разница? Что вы вообще хотите от заявленного процесса?
Интересно, у кого сколько выходит затрат, по времени, на своем ПК (обычном) при мягких настройках (3 потока), чтобы пройти примерно 1 млн ссылочной массы.
Думаю, что вряд ли есть массовая тенденция парсить 1 мнл. сайты.
Дело это скорее неблагодарное, чем полезное.
Если уж и решать какие-то задачи по таким сайтом, то разделяя их на составляющие.
Сейчас обратила внимание, что до 30% (примерно), идет ее накопление с опережением обработки. Более суток.
Потом случается разворот, и переработка ссылок уже опережает их добавление, но падает скорость.
Конечно, потому что объём анализируемых ссылок накапливается и сравнивать текущие ссылки становится медленнее, чем следовать по новым.
Итого - ровно 1 неделя (обычный ноут, вин 10, интел 7 четыре ядра, 16Гб оперативки, выделено 6Гб лимита, дамп пишется сразу на жесткий). Память, кстати, работает с самоочищением (пляшет, на такой задаче, между 3Гб и 1Гб, к лимиту не подступая пока).
Тут уже интересно спросить - и что вы хотите выяснить про результат этого парсинга?
Какие именно данные вам нужны в общем объёме? Что полезного это вам даст и какую руководствующую мысль вы вынесете из этой части работы для последующего внедрения?
Жду ещё мнений по данному вопросу.
Мнения на данном форуме будут скорее следующие - лучше быть разработчиком с базовыми навыками самопрезентации, чем блестящим менеджером без разработчика :)
Хороших менеджеров с навыками разработки пока никто в природе не видел :)))
p.s.
И да, менеджер без команды - это всё равно, что мастер по ремонту обуви без мастерской.
Вот задумался, -а кем лучше быть, - разработчиком сайтов или посредником между заказчиком сайтов и разработчиком сайтов?
Зависит от того, что вам больше нравится - быть разработчиком или project менеджером. Это две разные профессии.
Если вы работаете на себя, то вам придётся совмещать и одно, и другое (только уж не в качестве посредника, а в качестве менеджера самого себя).