Sterh

Sterh
Рейтинг
226
Регистрация
15.06.2006

Тут, все же, и от сайта зависит, от количества ссылок, и от уровней вложенности. У кого то и по 2 ляма ссылок выжирает.

Ну а с сохранением - это уже во второй версии. Пока идем более-менее в графике. Думаю к концу недели выложим новый парсер на тест.

svart:


Правильно ли я понял, что по умолчанию пауза между запросами = 50 мсек?

Да.

dimapv:
Купил прогу. Сканирую сайт и уже 3 раза на примерно 3000 странице происходит крах программы и данные, соответственно, теряются. Что делать?

Версия 1.8.4 ? Вообще именно с этой (последней) версии нашли и устранили глюк, приводящий к краху при большом объеме страниц и ссылок. По 10 - 15К страниц парсила свободно. Если вылетает примерно в одном и том же месте, то может в верстке какая ошибка.

Ну а так - урл в личку киньте, посмотрю.

admak:
небольшие пожелания:
- добавьте, плз, в новый парсер парсинг в несколько потоков.
- опцию изменения "количества потоков" и "задержку между запросами"

В новом парсере это уже есть.

admak:

(можно еще птичку "турбо" - т.е. с максимальной скоростью без никаких задержек, даже если ошибки) - на лету, т.е. не прерывая текущий парсинг.

Не совсем понял, но покажу пожелание программистам.

admak:


- возможность после окончания парсинга повторно пройтись только по "ошибочным" страницам, т.е. 500, 502,503, timeout, (еще желательно 401,403,404,301,302 - чтобы можно было исправлять мелочевку без повторного полного парсинга) или показывать для повторного парсинга все коды ошибок кроме 200 OK.
логично будет в менюхе показать "код ошибки" - "количество страниц" и чекбокс для повторного парсинга страниц с именно этим кодом ошибки.

это позволит убрать "шум" связанный с каналами связи или временной недоступностью/перегруженностью сервера плюс значительно ускорит правку мелочевки на больших сайтах.

Отличное предложение, спасибо! Учтем обязательно.

admak:

- наверное еще полезной будет птичка "автоматически расчитать вес после окончания парсинга" - чтобы дать возможность сначала глазами проверить все ли страницы собраны, повторно пройтись по ошибочным страницам и только потом самому руками запустить расчет веса.

А вот этого не будет, т.к. расчет веса пойдет отдельно от парсера.

Outofscope:
Кольца немного прокачиваются, на страницах из меню это никак не отображается (значительно) — ожидаемо.
Но задача-то у меня стоит оптимизаровать главную.

Уберите из сквозного меню не нужные страницы (закройте явой или XML). Переинковка - это перераспределение веса, если где то прибывает, то где то должно убыть.

poru4ik:
так и не нашел, сколько будет стоить новая версия?

А цены пока не объявлены. Ориентировочно раза в два дороже, но там будет другая архитектура программы и другая схема ценообразования.

Что точно могу сказать - всем покупателям текущей версии будет предоставлена скидка в размере её стоимости ( 600 руб.) для приобретения новой. Т.е. нужно будет только доплатить разницу.

HeR0vn1k:
обидно до смеха: windows-обновления перезагрузили компьютер!

Да уж... а шли на рекорд... Ладно, скоро будет новый парсер - им всяко и побыстрее и с сохранением.

Попробуйте полинковать кольцами, попробуйте :)

ruizAv:
Есть вопрос. Если у меня на страницах выводятся случайные записи из двух рубрик (ну там тосты и т.д.) - получается программа посчитать ничего не сможет?

Рэндом? Она посчитает развесовку сайта на момент парсинга.

Outofscope:
Из 100 страниц на сайте, ссылка на 5 находятся в меню (сквозное, на каждой странице), плюс ссылка на главную тоже есть на каждой.
Для 5 страниц из меню и главной программа выдает количество входящих ссылок = 100.
Но на главную, например, ведут дополнительные ссылки из текста некоторых страниц.
Правильно я понимаю, что учитывается только одна ссылка со страницы А на страницу Б при анализе веса?

Да. Вопрос может быть спорный, и не однократно уже обсуждался, но программа учитывает только одну ссылку на старницу. Все остальные удаляет и в расчете они участия не принимают

Outofscope:

Подскажите, пожалуйста, как тогда прокачать главную (смоделировать это в программе), если не закрывать меню в noindex/nofollow? Или noindex/nofollow для навигации — must have?
Спасибо!

Я так понял у Вас сквозняком только 5 ссылок? Т.е. остальные 95 - это полная свобода действий. Попробуйте поэкспериментировать в режиме моделирования. например залинковать пять страничек (из этих 95) в кольцо, попробуйте сделать несколько колец. И т.д. Смотрите результат, сравнивайте, добивайтесь максимального эффекта. Собственно для этого программа и писалась :)

YL - проверка проиндексированности ссылки. В настройках выставляется интервал - с какого момента начать проверять. Т.е. если у Вас ссылки куплены 1 декабря, а интервал стоит 21 день, то проверять еще рано, и будет выскакивать "проверено 0".

Поэтому просто проверьте настройки и соотнесите с датой покупки ссылок

HeR0vn1k:
Да, уже 24 дня!

Если сделать прогноз, то выполнено где-то 75%

Охренеть! .. зато будет с чем сравнить новый парсер :)

HeR0vn1k:
а время-то идет..

Это 23 дня работает??? 😮🤪

С противоположной от круглой дырочки стороны должна быть прямоугольная прорезь. Тыкаете туда тонкой отверткой или кончиком ножа, тем самым отжимая фиксатор. Нажали, потянули, вылезет сама ручка (то, за что рукой хватаетесь). Потом аккуратно снимаете конус (он ни на чем не держится, просто плотно прижимается). На а там и болтики обнаружатся :)

Всего: 2038