Программа YAL для получения анкоров из панели вебмастера

3. и 5. Попробуйте отсюда и отпишитесь.

franplas добавил 08.10.2008 в 00:20

"получить данные" которые выше или ниже(в следующей версии поменяю текст на кнопке парсера, что бы никого не путать). Нажимайте верхнюю под прогресс баром, она получает беки, а после вторую, если нужно.

Да, XP у меня

на верхнуюю нажимал. ничего не менял сегодня заработало. получил по сайту 1001 бек.

Нажимаю теперь "Получить данные" по уже спарсенным ссылкам. Кнопка "скрыть" заменяется на "стоп" и ничего не происходит.

я так предполагаю что должны заполняться поля анкора тиц и пр

Фикс. Захлопывается моментально, чекбоксы на месте.

Теперь траблы.

1. Запускаем программу, открываем проект. В окне "Сайты проекта" периодически показываются не все сайты. Логику не уловил, косяк во всех версиях. Если нажать обновить из панели, то показываются все.

2. В корневой папке появились новые папки, с названием урлов и проекта. В них ничего нет, но, видимо, промахнулись с папкой project или saves.

3. Список беков сохранен. Теперь не получает анкор и кол-во ссылок на странице (см. скрин). Ко всему, пока программа не закрыта, можно просмотреть данные из кеша, но после перезапуска эти данные не показываются. Парсер начинает обход, а если остановить, то перезаписывает старый файл. С этим нужно что-то думать, потому как заснуть можно.

4. парсер работает только для одного сайта, для остальных сразу показывает таблицу, в которой «все по нулям». Данные не сохраняет.

5. Арфаграфия храмает, могу посодействовать по теме. ;)

Выявил ошибку, все чеки сохраняются, но при открытии устанавливаются только визуально, парсер видит только установленные по умолчанию, т.е. все включены, из-за этого парсер может запускать поиск всего. Ошибку исправил но выложу позже, а пока нужно снятый чек установить и опять снять.

1. данные о сайтах хранятся в project\Имя проекта\sites.xml, он создается при создании проекта и изменяется при обновлении все остальное время из него читается.

После пропажи и обновления появляются, а если сразу закрыть программу все на месте?

Не плохо бы увидеть sites.xml полный и при пропаже, было бы понятней с чем дело иметь.

2. Да «было» нашел, в следующем обновление все нормально.

3. Ошибка есть исправлю. С перезаписью сейчас думаю.

4. Это может быть связанно с новыми папками, проверяю.

5. Это есть, да и часто приходится писать по ночам, или под крики детей, вот проблема. Любой помощи буду рад!

franplas добавил 09.10.2008 в 13:16

Обновил.

Исправлены найденные ошибки в работе парсера.

Теперь все данные сохраняются, ели отмечено использовать сохраненные данные, даже в случае остановки. Полученые ссылоки в кодировке koi8-r utf8 отображаются корректно. При ошибке получения анкоров пишется тип ошибки, а при отсутствии ссылки “-“.

Добавил ограничение времени отклика сервера, если стоит 0 то без ограничения.

Добавил чек «проверять ошибки», если отмечен, то если была сохранена ошибка то перепроверяет, если не отмечен то использует старые, а получает только те которых вообще небыло.

Качать там же.

Хоть кто-нибудь попробовал обновление?

franplas, апнули незаметно. Сейчас попробуем. ;)

К сожалению форум объединил с предыдущим постом.

Начал работу с нуля. Создал проект, получил сайты. Обновить беки нельзя, кнопка неактивна и только что созданный проект не показан в окне проектов. Появляется после перезапуска.

Запустил парсилку. Анкоры остались кривые (см. скрин). После перезапуска и эти анкоры пропали, остался только первый, остальные - пустое поле. Также очистилась остальная информация (pr, тиц), но она есть в файле dataparser.xml.

Вобщем, есть над чем работать ;)

1. Проблема та же, что и с черным экранов при закрытии- ХР не поддерживает, поправлю.

2. Кодировка анкора чикается из meta charset, а отображается windows-1251, посмотрите есть ли charset у этих страниц. Так как читается поток определить кодировку можно либо из заголовка ответа сервера либо из html. Скиньте урл кривых страниц, посмотрю.

3. dataparser.xml содержит все данные?