Str256

Рейтинг
611
Регистрация
07.01.2008
Интересы
компьютеры, интернет
Arc_us:
Sterh а когда выйдет 2 версия программы? Уже готов к покупке))) Ну если будет новогодняя скидка, так это вообще будет супер (:

По опыту предыдущих вариантов 2.0 - рекомендую купить 1.0 сейчас, а когда выйдет 2.0 - просто разницу доплатить.

burunduk:
с этим сложнее управиться, но можно :)

Можно но геморно, так как IP поисковых ботов не стабильны.

aryanatha:
как-то странно. старую ветку закрыли, Но ни в начале её, ни в конце не дали ссылку на новую - сотни людей вынуждены рыться теперь в результатах поиска...

Обсуждение действий модератора? Насчёт сотен явное преувелечение, думаю подавляющее большинство людей догадалось нажать на просмотр последних сообщений Sterh, и по последним поставм вышла на эту ветку. Либо зашли в профиль Sterh и посомтрели список тем им созданных.

x-mobi.ru:
А говорите, что ваша программа без багов.

Он наоборот говорил:)

Sterh:
Ну, и у нас не без багов...
Kostushko:
А никто и не говорит что программа должна знать о том сколько страниц на сайте. Про замедление-ускорение процесса - я прекрасно понимаю, потому и написал что после половины сканирования очередь еще не загруженных страниц будет как правило только уменьшаться. К тому же если сканируются свои сайты то их число страниц обычно известно. Попробуйте воспользоваться программами которые отображают число страниц в очереди и вы увидите что это достаточно информативно и удобно.

Как программа поймёт, что уже прошла половина сканирования? И насчёт известного числа страниц тоже спорно, мне на сайте в 2к страниц прога находила их в 2-а раза больше. Из-за раного рода дублей. Плюс ссылки на картинки и документы - это тоже страницы.

Я когда-то вроде тоже поднимал этот вопрос, в итоге сделали видимым какой урл сканируется в настоящее время и можно прикинуть докуда программа дошла.

Kostushko:
Можно сделать чтобы в процессе сканирования сайта отображалось не только число загруженных страниц, но и текущее количество страниц к загрузке. Это бы позволило примерно оценить оставшееся время сканирования (как правило после середины загрузки число страниц в очереди в основном уменьшалось бы).

Например: "Найдено страниц: 102 (в очереди 508)".

Если вы не загрузили конкретный список страниц сайта для сканирования, почём программе знать сколько страниц всего на сайте. Если там ошибки в коде, вообще может зациклиться. И потом скорость зависит от числа внутренних ссылок на странице, если в последующих страницах их будет больше процесс замедлится, а если меньше ускорится.

vozzy:
а не подскажете к каким цифрам после расчет веса следует стремиться? если например для страниц 1 уровня вес получился 400, 2-го уровня - 150, 3 уровня 40-60 - это нормально? или подскажите где почитать.

Это не абсолютные веса, а относительные. Т.е. просто показывается соотношение весов на разных страницах. Сами цифры не имеют никакого значения и зависят от числа итераций.

M2K2:
Видимо да, поисковики то ходят по таким страницами исключая страницу с $ а все что за ней учитывают

Проще наверно вручную удалить эти страницы, из списка найденных, перед тем как веса расчитывать. Только вот на данный момент, это удаление невозможно.

Насчёт тормозов при сканировании, мне помню считало и 20к страниц, комп 95 года. Проблемы не в количестве страниц, а в количестве ссылок на странице. Если внутренних ссылок много - то тормозить будет и на небольших сайтах.

Не является. Если б робот счёл это переспамом, то то эта страница давно бы уже вылетела из индекса. Вообще к развлекательной тематике менее строгие критерии нежели к коммерческой.

Собственно чёрными методами являются те которые нарушают законодательство. Прочие это серые той или иной степени. Белых нет официально.

M2K2:
Здравствуйте! подскажите учитывает ли Ваша программа знак $ в файле robots.txt

например у меня закрыты некоторые пункты меню следующими директивами:
Disallow: /razdel1$
Disallow: /razdel2$

учитывает ли программа при просчете перелиноковки статьи находящиеся в этих пунктах меню?
/razdel1/statya1
/razdel2/statya1

Роботс обрабатывается криво, лучше исключениями пользуйтесь. И ещё если на сайте много ссылок на картинки, то прога их считает отделоьными страницами - и получается их очень много, прога может вообще сайт не просканировать. Я например в таком разе их в исключения по расширению добавляю перед парсингом.

tysson:
как можно выгрузить результаты расчета, чтобы пользоваться результатами и сохранять?

Так там же есть сохранение в формате программы, и экспорт есть в csv. Мне не понятен ваш вопрос.

MyOST, а есть новости по тому модулю к проверяльщику позиций о котором ещё в начале мая говорили?

Всего: 15927