Page Weight. Программа для настройки перелинковки сайта . Часть 2

Sterh, с моей проблемой также пока что тишина?

x-mobi.ru добавил 03.12.2011 в 10:37

Чет вроде триавиальная задача, обход сайта по ссылкам, подсчет их кол-ва и т.п., а такие проблемки возникают, пока - не понимаю :)

p.s. но заметил, что если баг на каком-то сайте, то он будет всегда. А на некоторых багов нет и не бывает, один сайт - 5к страниц, а ссылок, наверное, под миллион - отработало норм.

x-mobi.ru добавил 03.12.2011 в 10:49

Кстати, прога походу не понимает https, точнее, она считает такую ссылку внутренней, а не внешней. Нашел в битых

У вас в ДЛЕ реализована обычная автоматическая перелинковка... (кольцевая). Данная софтина облегчает для вас работу по внутренней "перекачке" веса на главные страницы... К примеру: у вас в статьях НЧ (они же и перелинкованы между собой сейчас), а у вас, помимо НЧ, продвигаются еще и СЧ с ВЧ на страницах разделов или морде. Вы можете "подвалить" веса со статейных страниц на страницы разделов или морду, тем самым увеличив их статический вес.

Page Weight наглядно покажет вам какие из страниц сайта уже имеет наибольший статический вес (по результату кол-ва ссылок на каждую страницу сайта + анкоры покажет).

Нашли ошибку в обработчике роботса, в ближайшее время будет обновление

Проблема осталась? Вообще, это что-то новое, что бы программа бесследно исчезала... Если не решилось - можно урл в личку.

Sterh добавил 03.12.2011 в 18:57

В принципе уже ответили. Программа работае в соответствии с примерами в статье

Каюсь, не успел спарсить.. дошел до 2К с небольшим, вынужден был остановить. Вообще действительно, в 95% случаев какие то баги программы - это баги кода сайтов.

Ну а задача не совсем тривиальна 😕 А вот https нужно проверить....

Ну, да, может и не тривиальна, просто на первый взгляд... а начнешь реализовать, камни повылазят :)

Имел ввиду, скорее, ошибки не кода сайтов, а какие-то события возникают с самой прогой в каких-то сайтах... быть может где-то что-то отрабатывает не так, как хочет программа :) где-то регулярка не совершенна, где-то линковка для нее оказывается какой-то не такой, какую она ожидает... в общем это нужно программеру еще больше напряч моск и как следует перебирать алгоритм работы программы)

В любом случае дело за вами, разработчиками и авторами программы, чтобы оно работало... так что надеюсь на решающие обновления.

Я конечно понимаю, что разработчику особ некогда читать ветку и отвечать на вопросы, но все же, может мне повезет и мне растолкуют, почему я получаю такой результат: На сайте 40 страниц, около двух лет продвигалась и продвигается только главная страница, и казалось бы, у нее должен быть максимальный вес, ан нет, такой же вес имеют еще 5 страниц на сайте, причем одна из них -свежесозданая. Как такое может быть, может я как-то не так работаю с программой, или...

Заранее благодарен за внимание ТС и надеюсь на ответ.

Ну, во первых разработчик бывает тут весьма регулярно, и отвечает на вопросы так быстро, как это возможно.

А во вторых Вы не с программой не так работаете, а с теорией.

Какая по Вашему связь между "свежестью" страницы и весом, передаваемым по внутренним ссылкам?

Какая связь между продвижением внешними ссылками и распределением веса внутренними?

Очень заинтересовала эта программа, упоминали на одном семинаре.

Почитал топик, очень удивило:

не понятно зачем городить комбайн из двух совершенно разных задач?..

еще стандартный консольный wget на 32х метрах рама успешно выполнял функции парсера для "ленивых", успешно делая полные копии сайтов. (офтоп: до сих пор чекаю wget-ом свои сайты на 404 или редиректы)

тут две задачи: парсинг и расчет веса.

вопрос: можно ли делать парсинг своими инструментами, а использовать расчет веса в Вашей програме? данные затягивать или импортом или sql дампом. (по сути нужно передавать только два поля: урл и сам текст страницы).

хочется запускать парсинг на том же сервере, где и находится сайт с максимальной скоростью, а не отлавливать глюки инета и не ждать по 7-11 суток, как упоминалось в этом топике.

admak добавил 06.12.2011 в 00:02

немного не понятно, Ваш парсер выполняет яваскрипт?.. иначе чем мешает кривой код сайта? полностью пытаться разгрести DOM - безсмысленно. IMHO, обычного набора регулярок будет достаточно.

Программа обновлена до 1.8.2

Исправлены ошибки при работе с robots.txt о которых писали выше.

Так же добавлен переключатель секций robots.txt. Если переключатель установлен (по-умолачанию) будет искатся секция User-Agent: PageWeight и использоваться правила от туда. Иначе или если User-Agent: PageWeight будет не найден то программа будет брать правила из User-Agent: *

Потому что три года назад "комбайна" было достаточно для работы с большинством сайтов. Как только поняли, что "уперлись" начали ковырять другие возможные варианты.

Нет

Нет, яваскрипт не выполняется, да и кривую разметку программа уже умеет обходить. Проблема глубже, и из-за нее делается вторая версия на новом движке.