1dpro

Рейтинг
48
Регистрация
22.03.2010

в последнее время не было никаких пожеланий, их нет потому что все устраивает? Все же если есть какие либо идеи, то пишите.

коль тема такая есть, кто скажет как правильно указать регион при XML запросе?

stylelad:
Добрый день!
Подскажите простую программу для парсера всех страниц сайта.
Например есть сайт mysite.ru
Мне нужно из него выпарсить все страницы которые на нем есть в виде:
http://mysite.ru/page1.html
http://mysite.ru/page2.html
http://mysite.ru/page3.html
http://mysite.ru/page4.html

Сам контент этих страниц не нужен, нужен только полный список всех страниц, которые на данном сайте были созданны.

Заранее благодарен

т.е страницы будут только циферкой отличаться?

Str256:
Что-то я вас не понял. В адресной строке же дата выводится. Скажем вся информация за сентябрь:
http://www.liveinternet.ru/stat/site.ru/queries.html?date=2010-09-30;period=month;total=yes
Или скажем за 15 октября:
http://www.liveinternet.ru/stat/site.ru/queries.html?date=2010-10-15

Т.е. исходя из диапазона дат заданных в программе, она просто изменяет параметры запроса к лайву. Аналогично переходы со страниц, вот за октябрь:
http://www.liveinternet.ru/stat/site.ru/referrers.html?date=2010-10-31;period=month
А вот за предпоследнюю неделю октября:
http://www.liveinternet.ru/stat/site.ru/referrers.html?date=2010-10-24;period=week
А вот скажем за 19 октября:
http://www.liveinternet.ru/stat/site.ru/referrers.html?date=2010-10-19

Что так нельзя сделать? Хотя бы с привязкой к календарным неделям и месяцам.

ссылки бесполезны без пароля, но суть твою понял. Что то подобное попытаюсь

Str256:
А можно как точку отсчёта указать не сегодняшний день, а другое число?

по поисковым фразам нет, т.к liveinternet не дает такой возможности, единственное могу сделать чтоб статистика бралась из "доля поиск. трафика" но там обычно данные обновляются поздно за последний месяц, и данные можно брать только по месяцам и неделям, т.е нельзя взять статистику за период с 1 по 15 июня например

Если есть идеи как это сделать и как это будет удобно, поделитесь, сделаю

25_ch:
Посмотрел новую версию - все отлично. Вроде нет такой ошибки больше

Радует что нет ошибок, если новых ошибок не будет, то начну дорабатывать функцию "Проверка ссылок"

Str256:
А как он месяц отсчитывает? От даты до даты? Он у меня насчитал 599 источников. Но за октябрь в лайве 7 страниц по 100. По цифрам тоже с лайвом никак синхронизировать не могу. Скажем с морды сайта: 94 перехода ноябрь, 1256 октябрь. Прога написала число 1511. Потом смотрю переходы со странички этого сайта - прога написала 492, а по лайву: 366 октябрь и 6 ноябрь.

за месяц он суммирует по дням, берет сегодняшний день и отсчитывает от него 30 дней

Добавил чтоб можно было за месяц брать данные,

Str256:
почему-то не считывается колонка с числом переходов на эти страницы.

поправил

benmer:
Проблема с каптчей актуальна (

поправил

v.1.0.21

1dpro добавил 06.11.2010 в 19:08

25_ch:
1dpro, во-первых: спасибо огромное за софт - полезная штуковина!
во-вторых: не знаю, глюк это или что, но один из сайтов по версии программы присутствует в DMOZ,а по версии DMOZа его там нет :)
На что думать?

можешь скинуть пример?

1dpro добавил 07.11.2010 в 16:57

1dpro:
поправил
v.1.0.21

1dpro добавил 06.11.2010 в 19:08


можешь скинуть пример?

Добавил возможность использовать ключ яндекс.xml при проверке позиций

Всего: 148