Sterh

Sterh
Рейтинг
226
Регистрация
15.06.2006
Grimich:
Хочется возможности выгрузки информации по всем вкладкам - как внешние ссылки, так и битые

Grimich добавил 11.12.2011 в 15:21
Да, и спасибо огромное за софт :)

Дык она и так вся выгружается :) А за софт - рад, что понравилось :)

d4k:
Было бы удобно реализовать поиск по URL'у в каждой вкладке + улучшить копирование URL'ов из софтины. Сейчас, необходимо выделить именно тот урл который нужно скопировать, а потом только копируется.. это не удобно + обрезает до относительных ссылок (реализуйет это опцией) + не работает shift+click несколько ссылок копирование.

Спасибо

Ок, сейчас exp131 придет, что нибудь скажет по этому поводу :)

У Вас покуда личка не работает.. а посмотреть - посмотрел бы.

zVerskiy:
А как можно задать для всех страниц начальный вес не 1, а допустим 0.001?

А смысл? .. а так там есть кнопочка "изменить стартовые веса", но меняет поштучно, а не пакетно. Сделано, что бы смоделировать влияние внешних.

zVerskiy:

zVerskiy добавил 09.12.2011 в 23:48
При расчёте по сайту выходит какой-то бок.
Сайт не имеет внешних ссылок вообще. Только внутренние.
Есть страница (Карта сайта ) на которую идёт ссылка с главной страницы, и больше никаких ссылок на неё нет.
Вес главной 485,61 (14 ссылок на главной стоит), а при этом расчётный вес КАРТЫ САЙТА прога показывает 35,88.
Если исходить из формулы PR(A) = (1-d) + d (PR(T1)/C(T1), то ПР Карты Сайта должен быть равен 29.48, но он равен 35.88.
Проверял с разным числом итераций и всё равно отличались значения, при 33 итерациях в 2 раза от расчётного по формуле

Sterh, как так получается?

В статье (в примерах расчета Mini Rank) и в программе результат итерации плюсуется к результату предыдущей итерации. Собственно поэтому у Вас и не сходится - не плюсуете результаты предыдущих итераций. И чем больше делаете итераций - тем большее слагаемое выпадает в Вашем расчете.

ruizAv:


<meta name='robots' content='noindex,nofollow' />

Этот метатэг вообще не обрабатывается. В течении двух/трех дней исправим.

admak:
Вы сами себе противоречите и держитесь за комбайн. :(

Сбор исходных данных - это трудоемкая и долгая рутина, с которой мужественно сражается каждый разработчик win программ. Тратя именно на этот кусок много сил, зачастую в ущерб основному функционалу.

Не, не противоречим. Видимо Вы не совсем в курсе. Сейчас готовится вторая версия, где парсер будет отдельно, а весь анализ отдельно. Именно для того, что бы рутину и математику решать отдельно.

HeR0vn1k:
Как вариант, можно написать инструкцию в .PDF, чтоб множество вопросов снялись сами по себе.

Так есть же хелп в программе. Кроме того, его отдельно можно скачать с сайта.

Sterh добавил 07.12.2011 в 09:18

deltamc:
Сегодня купил программу. Ссылки с протоколом ftp прога определяет как битые.

А как их еще определять? ИМХО конечно, но на такие ссылки вес не передается, и в расчете они не участвуют.

Кстати о robos.txt

Теперь можно сделать раздел специально под программу.

Цитата из хэлпа:

Программа поддерживает файл robots.txt версии 1.0. Это значит что в файле учитываются только конструкции Disallow.
Так же допускаются следующие спец. символы:

* - означает любую последовательность символов
$ - означает конец строки
Так же если в файле есть поле User-Agent: PageWeight то программа учитывает только директивы из этого блока. Иначе берется блок User-Agent: *.

Например:


User-agent: pageweight
Disallow: /img/*.jpg
Disallow: /admin/
Disallow: /link$

User-agent: Yandex
Disallow: /
Disallow: /images/

Disallow: *
Disallow: /somedir



В этом случае будет использован только первый блок и будут запрещены к индексации:

Все файлы .JPG из каталога /img/
Все ссылки из каталога: /admin/
Прямые ссылки на /link, однако ссылки на /link/somedir/ будут обработаны.
admak:

не понятно зачем городить комбайн из двух совершенно разных задач?..

Потому что три года назад "комбайна" было достаточно для работы с большинством сайтов. Как только поняли, что "уперлись" начали ковырять другие возможные варианты.

admak:


вопрос: можно ли делать парсинг своими инструментами, а использовать расчет веса в Вашей програме?

Нет

RedZebra:
Я конечно понимаю, что разработчику особ некогда читать ветку и отвечать на вопросы, но все же, может мне повезет и мне растолкуют, почему я получаю такой результат: На сайте 40 страниц, около двух лет продвигалась и продвигается только главная страница, и казалось бы, у нее должен быть максимальный вес, ан нет, такой же вес имеют еще 5 страниц на сайте, причем одна из них -свежесозданая. Как такое может быть, может я как-то не так работаю с программой, или...

Заранее благодарен за внимание ТС и надеюсь на ответ.

Ну, во первых разработчик бывает тут весьма регулярно, и отвечает на вопросы так быстро, как это возможно.

А во вторых Вы не с программой не так работаете, а с теорией.

Какая по Вашему связь между "свежестью" страницы и весом, передаваемым по внутренним ссылкам?

Какая связь между продвижением внешними ссылками и распределением веса внутренними?

ruizAv:
Во-первых...
aryanatha:
такие урлы....

Нашли ошибку в обработчике роботса, в ближайшее время будет обновление

d4k:
Приобрел сегодня же софтину...

Проблема осталась? Вообще, это что-то новое, что бы программа бесследно исчезала... Если не решилось - можно урл в личку.

Sterh добавил 03.12.2011 в 18:57

goliafz:
Автор программы :) У меня есть вопросы.

В принципе уже ответили. Программа работае в соответствии с примерами в статье

x-mobi.ru:
Sterh, с моей проблемой также пока что тишина?

x-mobi.ru добавил 03.12.2011 в 10:37
Чет вроде триавиальная задача, обход сайта по ссылкам, подсчет их кол-ва и т.п., а такие проблемки возникают, пока - не понимаю :)

p.s. но заметил, что если баг на каком-то сайте, то он будет всегда. А на некоторых багов нет и не бывает, один сайт - 5к страниц, а ссылок, наверное, под миллион - отработало норм.

x-mobi.ru добавил 03.12.2011 в 10:49
Кстати, прога походу не понимает https, точнее, она считает такую ссылку внутренней, а не внешней. Нашел в битых

Каюсь, не успел спарсить.. дошел до 2К с небольшим, вынужден был остановить. Вообще действительно, в 95% случаев какие то баги программы - это баги кода сайтов.

Ну а задача не совсем тривиальна 😕 А вот https нужно проверить....

dabustard:


Да и вопрос ближе к теме:
Как программа обрабатывает ссылки закрытые в роботс или добавленные через исключения? Учитывает их при распределении веса по остальным страницам или считает что ссылок на эти страницы не существует?

Там есть галочка - считать закрытые ссылки как внешние. Если отмечаете - то считает, если нет - игнорирует совсем.

Ну а по первому вопросу на форуме очень много написано. Если коротко, то для закрытия используйте яву или XML

Всего: 2038