Grimich: Хочется возможности выгрузки информации по всем вкладкам - как внешние ссылки, так и битые
Grimich добавил 11.12.2011 в 15:21 Да, и спасибо огромное за софт :)
Дык она и так вся выгружается :) А за софт - рад, что понравилось :)
d4k: Было бы удобно реализовать поиск по URL'у в каждой вкладке + улучшить копирование URL'ов из софтины. Сейчас, необходимо выделить именно тот урл который нужно скопировать, а потом только копируется.. это не удобно + обрезает до относительных ссылок (реализуйет это опцией) + не работает shift+click несколько ссылок копирование.
Спасибо
Ок, сейчас exp131 придет, что нибудь скажет по этому поводу :)
zVerskiy: А как можно задать для всех страниц начальный вес не 1, а допустим 0.001?
А смысл? .. а так там есть кнопочка "изменить стартовые веса", но меняет поштучно, а не пакетно. Сделано, что бы смоделировать влияние внешних.
zVerskiy:
zVerskiy добавил 09.12.2011 в 23:48 При расчёте по сайту выходит какой-то бок. Сайт не имеет внешних ссылок вообще. Только внутренние. Есть страница (Карта сайта ) на которую идёт ссылка с главной страницы, и больше никаких ссылок на неё нет. Вес главной 485,61 (14 ссылок на главной стоит), а при этом расчётный вес КАРТЫ САЙТА прога показывает 35,88. Если исходить из формулы PR(A) = (1-d) + d (PR(T1)/C(T1), то ПР Карты Сайта должен быть равен 29.48, но он равен 35.88. Проверял с разным числом итераций и всё равно отличались значения, при 33 итерациях в 2 раза от расчётного по формуле
Sterh, как так получается?
В статье (в примерах расчета Mini Rank) и в программе результат итерации плюсуется к результату предыдущей итерации. Собственно поэтому у Вас и не сходится - не плюсуете результаты предыдущих итераций. И чем больше делаете итераций - тем большее слагаемое выпадает в Вашем расчете.
admak: Вы сами себе противоречите и держитесь за комбайн. :(
Сбор исходных данных - это трудоемкая и долгая рутина, с которой мужественно сражается каждый разработчик win программ. Тратя именно на этот кусок много сил, зачастую в ущерб основному функционалу.
Не, не противоречим. Видимо Вы не совсем в курсе. Сейчас готовится вторая версия, где парсер будет отдельно, а весь анализ отдельно. Именно для того, что бы рутину и математику решать отдельно.
HeR0vn1k: Как вариант, можно написать инструкцию в .PDF, чтоб множество вопросов снялись сами по себе.
Так есть же хелп в программе. Кроме того, его отдельно можно скачать с сайта.
Sterh добавил 07.12.2011 в 09:18
deltamc: Сегодня купил программу. Ссылки с протоколом ftp прога определяет как битые.
А как их еще определять? ИМХО конечно, но на такие ссылки вес не передается, и в расчете они не участвуют.
Теперь можно сделать раздел специально под программу.
Цитата из хэлпа:
Программа поддерживает файл robots.txt версии 1.0. Это значит что в файле учитываются только конструкции Disallow.
Так же допускаются следующие спец. символы:
* - означает любую последовательность символов
$ - означает конец строки
Так же если в файле есть поле User-Agent: PageWeight то программа учитывает только директивы из этого блока. Иначе берется блок User-Agent: *.
не понятно зачем городить комбайн из двух совершенно разных задач?..
Потому что три года назад "комбайна" было достаточно для работы с большинством сайтов. Как только поняли, что "уперлись" начали ковырять другие возможные варианты.
admak:
вопрос: можно ли делать парсинг своими инструментами, а использовать расчет веса в Вашей програме?
RedZebra: Я конечно понимаю, что разработчику особ некогда читать ветку и отвечать на вопросы, но все же, может мне повезет и мне растолкуют, почему я получаю такой результат: На сайте 40 страниц, около двух лет продвигалась и продвигается только главная страница, и казалось бы, у нее должен быть максимальный вес, ан нет, такой же вес имеют еще 5 страниц на сайте, причем одна из них -свежесозданая. Как такое может быть, может я как-то не так работаю с программой, или...
Заранее благодарен за внимание ТС и надеюсь на ответ.
Ну, во первых разработчик бывает тут весьма регулярно, и отвечает на вопросы так быстро, как это возможно.
А во вторых Вы не с программой не так работаете, а с теорией.
Какая по Вашему связь между "свежестью" страницы и весом, передаваемым по внутренним ссылкам?
Какая связь между продвижением внешними ссылками и распределением веса внутренними?
Нашли ошибку в обработчике роботса, в ближайшее время будет обновление
d4k: Приобрел сегодня же софтину...
Проблема осталась? Вообще, это что-то новое, что бы программа бесследно исчезала... Если не решилось - можно урл в личку.
Sterh добавил 03.12.2011 в 18:57
goliafz: Автор программы :) У меня есть вопросы.
В принципе уже ответили. Программа работае в соответствии с примерами в статье
x-mobi.ru: Sterh, с моей проблемой также пока что тишина?
x-mobi.ru добавил 03.12.2011 в 10:37 Чет вроде триавиальная задача, обход сайта по ссылкам, подсчет их кол-ва и т.п., а такие проблемки возникают, пока - не понимаю :)
p.s. но заметил, что если баг на каком-то сайте, то он будет всегда. А на некоторых багов нет и не бывает, один сайт - 5к страниц, а ссылок, наверное, под миллион - отработало норм.
x-mobi.ru добавил 03.12.2011 в 10:49 Кстати, прога походу не понимает https, точнее, она считает такую ссылку внутренней, а не внешней. Нашел в битых
Каюсь, не успел спарсить.. дошел до 2К с небольшим, вынужден был остановить. Вообще действительно, в 95% случаев какие то баги программы - это баги кода сайтов.
Ну а задача не совсем тривиальна 😕 А вот https нужно проверить....
Да и вопрос ближе к теме:
Как программа обрабатывает ссылки закрытые в роботс или добавленные через исключения? Учитывает их при распределении веса по остальным страницам или считает что ссылок на эти страницы не существует?
Там есть галочка - считать закрытые ссылки как внешние. Если отмечаете - то считает, если нет - игнорирует совсем.
Ну а по первому вопросу на форуме очень много написано. Если коротко, то для закрытия используйте яву или XML
Хочется возможности выгрузки информации по всем вкладкам - как внешние ссылки, так и битые
Grimich добавил 11.12.2011 в 15:21
Да, и спасибо огромное за софт :)
Дык она и так вся выгружается :) А за софт - рад, что понравилось :)
Было бы удобно реализовать поиск по URL'у в каждой вкладке + улучшить копирование URL'ов из софтины. Сейчас, необходимо выделить именно тот урл который нужно скопировать, а потом только копируется.. это не удобно + обрезает до относительных ссылок (реализуйет это опцией) + не работает shift+click несколько ссылок копирование.
Спасибо
Ок, сейчас exp131 придет, что нибудь скажет по этому поводу :)
У Вас покуда личка не работает.. а посмотреть - посмотрел бы.
А как можно задать для всех страниц начальный вес не 1, а допустим 0.001?
А смысл? .. а так там есть кнопочка "изменить стартовые веса", но меняет поштучно, а не пакетно. Сделано, что бы смоделировать влияние внешних.
zVerskiy добавил 09.12.2011 в 23:48
При расчёте по сайту выходит какой-то бок.
Сайт не имеет внешних ссылок вообще. Только внутренние.
Есть страница (Карта сайта ) на которую идёт ссылка с главной страницы, и больше никаких ссылок на неё нет.
Вес главной 485,61 (14 ссылок на главной стоит), а при этом расчётный вес КАРТЫ САЙТА прога показывает 35,88.
Если исходить из формулы PR(A) = (1-d) + d (PR(T1)/C(T1), то ПР Карты Сайта должен быть равен 29.48, но он равен 35.88.
Проверял с разным числом итераций и всё равно отличались значения, при 33 итерациях в 2 раза от расчётного по формуле
Sterh, как так получается?
В статье (в примерах расчета Mini Rank) и в программе результат итерации плюсуется к результату предыдущей итерации. Собственно поэтому у Вас и не сходится - не плюсуете результаты предыдущих итераций. И чем больше делаете итераций - тем большее слагаемое выпадает в Вашем расчете.
<meta name='robots' content='noindex,nofollow' />
Этот метатэг вообще не обрабатывается. В течении двух/трех дней исправим.
Вы сами себе противоречите и держитесь за комбайн. :(
Сбор исходных данных - это трудоемкая и долгая рутина, с которой мужественно сражается каждый разработчик win программ. Тратя именно на этот кусок много сил, зачастую в ущерб основному функционалу.
Не, не противоречим. Видимо Вы не совсем в курсе. Сейчас готовится вторая версия, где парсер будет отдельно, а весь анализ отдельно. Именно для того, что бы рутину и математику решать отдельно.
Как вариант, можно написать инструкцию в .PDF, чтоб множество вопросов снялись сами по себе.
Так есть же хелп в программе. Кроме того, его отдельно можно скачать с сайта.
Sterh добавил 07.12.2011 в 09:18
Сегодня купил программу. Ссылки с протоколом ftp прога определяет как битые.
А как их еще определять? ИМХО конечно, но на такие ссылки вес не передается, и в расчете они не участвуют.
Кстати о robos.txt
Теперь можно сделать раздел специально под программу.
Цитата из хэлпа:
Так же допускаются следующие спец. символы:
* - означает любую последовательность символов
$ - означает конец строки
Так же если в файле есть поле User-Agent: PageWeight то программа учитывает только директивы из этого блока. Иначе берется блок User-Agent: *.
Например:
User-agent: pageweight
Disallow: /img/*.jpg
Disallow: /admin/
Disallow: /link$
User-agent: Yandex
Disallow: /
Disallow: /images/
Disallow: *
Disallow: /somedir
В этом случае будет использован только первый блок и будут запрещены к индексации:
Все файлы .JPG из каталога /img/
Все ссылки из каталога: /admin/
Прямые ссылки на /link, однако ссылки на /link/somedir/ будут обработаны.
не понятно зачем городить комбайн из двух совершенно разных задач?..
Потому что три года назад "комбайна" было достаточно для работы с большинством сайтов. Как только поняли, что "уперлись" начали ковырять другие возможные варианты.
вопрос: можно ли делать парсинг своими инструментами, а использовать расчет веса в Вашей програме?
Нет
Я конечно понимаю, что разработчику особ некогда читать ветку и отвечать на вопросы, но все же, может мне повезет и мне растолкуют, почему я получаю такой результат: На сайте 40 страниц, около двух лет продвигалась и продвигается только главная страница, и казалось бы, у нее должен быть максимальный вес, ан нет, такой же вес имеют еще 5 страниц на сайте, причем одна из них -свежесозданая. Как такое может быть, может я как-то не так работаю с программой, или...
Заранее благодарен за внимание ТС и надеюсь на ответ.
Ну, во первых разработчик бывает тут весьма регулярно, и отвечает на вопросы так быстро, как это возможно.
А во вторых Вы не с программой не так работаете, а с теорией.
Какая по Вашему связь между "свежестью" страницы и весом, передаваемым по внутренним ссылкам?
Какая связь между продвижением внешними ссылками и распределением веса внутренними?
Во-первых...
такие урлы....
Нашли ошибку в обработчике роботса, в ближайшее время будет обновление
Приобрел сегодня же софтину...
Проблема осталась? Вообще, это что-то новое, что бы программа бесследно исчезала... Если не решилось - можно урл в личку.
Sterh добавил 03.12.2011 в 18:57
Автор программы :) У меня есть вопросы.
В принципе уже ответили. Программа работае в соответствии с примерами в статье
Sterh, с моей проблемой также пока что тишина?
x-mobi.ru добавил 03.12.2011 в 10:37
Чет вроде триавиальная задача, обход сайта по ссылкам, подсчет их кол-ва и т.п., а такие проблемки возникают, пока - не понимаю :)
p.s. но заметил, что если баг на каком-то сайте, то он будет всегда. А на некоторых багов нет и не бывает, один сайт - 5к страниц, а ссылок, наверное, под миллион - отработало норм.
x-mobi.ru добавил 03.12.2011 в 10:49
Кстати, прога походу не понимает https, точнее, она считает такую ссылку внутренней, а не внешней. Нашел в битых
Каюсь, не успел спарсить.. дошел до 2К с небольшим, вынужден был остановить. Вообще действительно, в 95% случаев какие то баги программы - это баги кода сайтов.
Ну а задача не совсем тривиальна 😕 А вот https нужно проверить....
Да и вопрос ближе к теме:
Как программа обрабатывает ссылки закрытые в роботс или добавленные через исключения? Учитывает их при распределении веса по остальным страницам или считает что ссылок на эти страницы не существует?
Там есть галочка - считать закрытые ссылки как внешние. Если отмечаете - то считает, если нет - игнорирует совсем.
Ну а по первому вопросу на форуме очень много написано. Если коротко, то для закрытия используйте яву или XML