С.м. личку.
Неее.. я этот сайт отсканил в 30 потоков и без паузы. Т.е. тут опять что-то где-то не законнектилось в машине (наверное).
УРЛ в личку плиз
Склонения да - используется стемминг
Перестановка слов - пока нет
В планах - опечатко детектед и перестановка слов.
По поводу кавычек - в выдаче же без кавычек ключи, вот прога их и не видит. Для проверки точного вхождения нужен другой запрос к поисковику. Подумаем, как это сделать
Так, сообщение для всех, у кого по прежнему куча 503 ошибок (время ожидания истекло).
Ситуация следующая: есть два программиста, у которых все проблемные сайты сканятся на ура. Есть я, полный лох в программировании (как и большинство пользователей). У меня такая же беда (т.е. я на своей машине все баг репорты подтверждаю).
После долгих плясок с бубном пришли к следующему:
На машинах, где возникает подобная проблема отсутствует .NET Framework 3.5
Порядок действий:
1) Скачать и установить фрэймворк http://www.microsoft.com/en-us/download/details.aspx?id=5007 (если у вас стоит 4.0., то все равно скачать и установить!)
2) перезагрузить комп
3) повторить скан проблемного проекта
4) отписаться помогло или нет (последний пункт не обязателен, это просто убедительная просьба).
После выполнения этих действий у меня на машине скан идет без проблем и ошибок. Очень надеемся, что дело именно в отсутствии фрэймворка на некоторых машинах.
Есть здоровый список по доработкам модуля моделирования. Лежит у меня в столе :) Не пускается в работу по двум причинам:
1) Надо довести парсинг до идеала. Пока не доведем, дальше не двинемся
2) этот пункт я уже упоминал: расширенное моделирование интересно узкому кругу специалистов. Сделать его интересно, но не могу поставить в приоритет. Полуавтомат был бы более интересен в коммерческом плане.---------- Добавлено 21.01.2013 в 22:43 ----------
Вам обновление 2.0.9 тоже не помогло?
В смысле? боюсь никак
это стартовый вес. Что бы увидеть распределение веса по сайту, вес нужно рассчитать.
и?
Есть мыслЯ как это сделать не гадая на кофейной гуще (все относительно ессно). Потихоньку начинаем реализовывать.---------- Добавлено 21.01.2013 в 14:39 ----------
Вот после 2.0.8. всплыл какой то непонятный глюк, который приводит к увеличению количества 503 ошибок. Беда в том, что всплывает спонтанно (есть несколько проблемных сайтов, на которых тестируем), и далеко не всегда. В большинстве случаев ошибки - это результат работы сервера. Т.е. отбиваются запросы и лечится это сокращением количества потоков.
Сейчас продолжаем ковырять и пробовать разные варианты.
Если сканируете сайты, которые сканировали до обновления, то рекомендуется удалить проект и сделать новый.
Изменять начальный вес имеет смысл на тех страницах, куда ведут ссылки с других сайтов. Какое именно значение ставит - тут скорее на глаз. Если ссылаются жирные страницы, то ставьте больше, если нулевки, то меньше
Баг, приводивший к зависанию, нашли и исправили. Сейчас еще кое-что прикрутим и выложим обновление.
Мих.. а давай с терминами определимся. Что в твоем понимании конкурентность?
Ок, скажу ему ай-яй-яй :)---------- Добавлено 17.01.2013 в 22:28 ----------
Вот и я про то, "а мужики не понимают" :)
ЗЫ: отловили баг, приводивший к зависанию, скоро обновимся.
