Sterh

Sterh
Рейтинг
226
Регистрация
15.06.2006
Stza:
Несовсем понятен алгоритм. ситуация следующая: сайт с очень понятной структурой, главная и 15 страничек 2ой вложенности все в одном клике от главной.т.е. грубо говоря должен показываться одинаковый вес, почему получатся так:

/akvaparki-v-finlyandii 16 16 11,62681657
/helsinki 16 17 11,6694196

т.е. на второй странице больше исходящих ссылок, но на ней больше веса?
p.s. 17дцатая исходящая ссылка на странице /helsinki это ссылка на картинку

Раз ссылка есть - значит будет считаться. Или закройте картинки в настройках в исключениях.

А непонятки - как раз из-за "лишних" ссылок. А вообще вес страницы зависит от количества и качества входящих ссылок, а не исходящих. Т.е. с самой "весомой" страницы может и 100 ссылок уходить.

Jigo:
А подскажите, как правильно закрыть такие конструкции <a href> с картинкой, чтоб вес зря не уходил неизвестно куда? Если в роботсе запретить индексацию картинки, это решит проблему утечки веса?

Через ява-скрипт или XML Закрытие в роботс не поможет.

legora:
Подскажите, программа определяет "ссылки относительно текущего документа"?
Прогнал сайт через программу и похоже, что все относительные ссылки вида "../bb.html" попали в "битые" с описанием ошибки "Исключение во время запроса WebClient." Т.е считаются ссылки только вида "/aa/bb.html", а ссылки вида "../bb.html" в ошибках.
Получается, что для сайтов, где урлы ссылок имеют неполный адрес программа бесполезна? Или, что-то можно настроить?

Исключение во время запроса WebClient. - это сервер отбивает. Установите паузу между запросами при парсинге.

L!mur:
exp131 конец месяца ноября - что там с обещаниями выпустить к этому моменту новую версию?

Парсер готов. Сейчас решаем некоторые технические нюансы. Если и дальше все пойдет по плану, то к 20-м числам декабря выпустим парсер и маленький модуль тех. анализа в закрытое бета-тестирование (будет доступен только покупателям текущей версии).

Модуль перелинковки обрастает все новыми и новыми наворотами, поэтому его выпустим уже ближе к концу января следующего года, как раз, когда будут выловлены и исправлены баги парсера (если таковые найдутся).

wq21:
... больше сотни - с весом 1 (хотя пишет, что ссылок ведущих на страницу 0)
/wp-content - с весом чуть больше 1

вопрос - программа что роботс не может определять нормально или откуда она берет эти ссылки?

Единичка - вес страницы по умолчанию. Т.е. сам факт наличия страницы дает ей вес, равный 1.

Другой вопрос, если ссылок 0, то как она их нашла :)

Роботс глючный, увы, не всегда корректно обрабатывает исключения. Поэтому исключения лучше забивать в настройках.

aryanatha:
на странице сайта есть 20 preview картинок и скрип highslide, который при клике на маленькую картинку открывает в отдельном окошке эту же картинку но из файла значительно большего размера

<a class="highslide" onclick="return hs.expand(this)" href="images/foto/kupalniki-panache1676.jpg"><img src="images/foto/small/kupalniki-panache1676.jpg" /></a>


у меня инет медленный, поэтому хорошо заметен следующий факт:
ваша программа закачивает на комп все двадцать картинок jpg и это у неё получаются как бы отдельные страницы сайта
типа таких
/images/foto/kupalniki-panache1676.jpg

Почему как бы? Ссылка на страницу есть, урл страницы есть - значит это и есть страничка.

aryanatha:

вопросы:
1. нафига качать эти картинки-страницы, если и так же понятно что это именно картинка и на ней не будет никаких ссылок ни внешних ни внутренних? это и по времени долго и трафика много уходит...
2. каждая такая картинка получается как бы отдельная страница сайта, на которую входит минимум одна ссылка, но не выходит ни одной. соответственно эта "страница" имеет свой вес, который как бы "пропадает". можете посоветовать способ как не передавать вес на такие картинки?

1. А это кому как. Кто считает, что не нужно подобные ссылки и страницы обрабатывать - закрывает их в настройках. Кому нужно - не закрывает.

2. Поставить другой скрипт, что бы не было конструкции <a href>

2 Kostushko

Я вас понял... посмотрим, может что и придумаем. Мысль действительно интересная.

YuLink:
Может где то и написано новсе 100+ страниц не осилю.
А как программа относится к страницам с урлами вида: http://site.ru/catalog.php?tovar=1 , http://site.ru/catalog.php?tovar=t1 и это одна и таже страничка. ПС такие ведь страницы склеивают, соответственно и вес идет на одну страничку, а программка это посчитает как две разных и распределит вес между ними ?

С чего это вдруг это одна и та же страничка? Разные УРЛы - разные страницы. Если они 100% совпадают, то это дубликат. И ПС их не склеивают, а записывают в очередь на АГС.

Программа эти страницы будет считать как разные страницы

2 Kostushko

То, что Вы просите сделать не реально. У программы нет конечного списка страниц. На каждой странице могут быть новые ссылки, которые еще не учитывались.

Однако если Вы знаете количество страниц на сайте, то можно это количество сравнить с отображаемым в процессе парсинга - тогда будет ясно, сколько еще осталось.

2 uipi Ваши вопросы звучат примерно так:

1) Хочу поехать отдыхать. В какую сумму мне это обойдется?

2) Насколько хорошо я отдохну, и как оценить степень отдохнутости?

3) На сколько долго мне хватит накопленной отдохнутости?

я знаю что нет точной суммы

А почему её нет, знаете?

vozzy:
а не подскажете к каким цифрам после расчет веса следует стремиться? если например для страниц 1 уровня вес получился 400, 2-го уровня - 150, 3 уровня 40-60 - это нормально? или подскажите где почитать.

Как уже ответил Str256 - цифры как таковые значения не имеют. Они лишь иллюстрируют как распределяется сес по сайту и в каких пропорциях.

Webmix:
В каких пределах будет стоить новая версия программы ? софт нужен сейчас для работы, но прочел что в ближайшее время будет новая версия по новой цене, не будет ли она выше в несколько раз? все таки приблизительно хотя бы хочется узнать цену ...

Если говорить очень грубо, то цена вырастет раза в два. Но там будет несколько иные принципы формирования стоимости софта для пользователя.

Но опять же повторюсь:

Каждому покупателю текущей версии будет предоставлена скидка в размере её текущей стоимости (600 руб.). И при выходе второй версии нужно будет только доплатить разницу.

tekseo:
т.е. если меню содержит все страницы сайта то перелинковка недейственна?

Фактически да.. собственно отсюда и куча разговоров о том, закрывать или не закрывать меню, как правильно закрывать и т.д.

Тут еще вопрос целесообразности перелинковки. На маленьких сайтах, гду в меню включены ссылки на все страницы, можно особо и не заморачиваться.

Чем больше по объему сайт - тем больший эффект будет от перелинковки.

wq21:
а демка у вас есть?

Нет, демки нету.

tekseo:
Добрый день. интересует следующее - передаётся ли статический вес страницы, а также некоторые показатели (пр и тд.) картинкам на сайте (при условии что картинки на том же сайте, на которм производится расчет). По сути ведь картинка является внутреней ссылкой. стоит ли учитывать картинки при расчете статического веса страниц сайта?

Тоже самое интересует для файлов (doc, pdf...) - забирают ли они статический вес?

Программа не забирает все ссылки на страницах, а только берет все из меню. При этом ссылки из перелинковки приходится вбивать вручную - в чем проблема??

Картинки и прочее я обычно закрываю в настройках... возможно не правильно, но вот еще со старых времен отпечаталось в голове, что по картинке вес не передается... На счет doc, pdf - не знаю и врать не буду :)

Она берет все ссылки, просто потом удаляет дубли. Есть мнение (спорное отчасти), что две одинковых ссылки (УРЛа) с одной страницы не берутся, а берется только одна, первая по коду.

Всего: 2038