chaser

chaser
site-analyzer.ru
fb: chaser81
Рейтинг
219
Регистрация
03.08.2005
Должность
SEO-специалист
Интересы
SEO, Delphi, PHP
BatchURLScraper - Извлечение данных методами XPath, CSSPath и RegExp

Новая версия BatchURLScraper 1.3




Что нового:

  • расширено число страниц для парсинга с 1000 до 5000 URL
  • добавлена возможность скрапинга через HTML templates
  • добавлена возможность извлечения данных через атрибуты CSS
  • добавлена возможность скрапинга через внешний и внутренний HTML
  • добавлена возможность использования списков Proxy
  • исправлен баг некорректного сохранения User-Agent

Страница скачивания: https://site-analyzer.ru/soft/batch-url-scraper/

BatchURLScraper - Извлечение данных методами XPath, CSSPath и RegExp
superb #:
Прикольный и потенциально полезный софт, однако мешает ограничение в 1000 урл (
Возможно пересмотрим кол-во в новой версии.
BatchURLScraper - Извлечение данных методами XPath, CSSPath и RegExp

Новая версия BatchURLScraper 1.2




Что нового:

  • добавлен метод скрапинга через XQuery
  • оптимизирован парсинг HTML-кода
  • оптимизирована настройка фильтров для извлечения данных
  • оптимизирована настройка пресетов для парсинга
  • добавлен модуль для тестирования правил парсинга

 Страница скачивания (5 Мб): BatchURLScraper
Ищу сервис, который показывает исходящие ссылки с сайта
SiteAnalyzer ( https://site-analyzer.ru/ ) бесплатно просканирует любой сайт и покажет, помимо прочего, все исходящие ссылки.
BulkPageSpeed - Массовая проверка скорости загрузки страниц по Google PageSpeed
Romanov Roman #:

https://devaka.ru/articles/pagespeed-insights

На счет качества тех или иных оценок все давно в курсе.

Поэтому доверять оценкам Google PageSpeed или нет дело каждого, и если для вас это не играет никакой роли - можно просто пройти мимо...

BulkPageSpeed - Массовая проверка скорости загрузки страниц по Google PageSpeed
chillybang #:

Программа замечательная, слов нет. НО:

Наблюдение за скоростью загрузки страниц - это процесс постоянный. Соответственно, нуждающийся во временном компоненте и графическом изображении. То есть: необходимо наблюдать за страницами регулярно и, желательно, представлять результаты в виде диаграммы.

Эту задачу я, например, решаю с помощью импорта результатов опроса PageSpeed API в Google Sheets, передачей данных в Data Studio и отрисовки графика.

Было бы замечательно иметь такой функционал в программе. Будет абсолютно достаточно добавить две функции:

  • Планировщик сбора данных (каждый час, день, неделю). Причём было бы наверное даже прикольно стартовать программу для сбора данных в режиме без GUI
  • Автоматический экспорт результатов вместе с датой сбора данных в Google Sheets. В настройках надо будет указать данные на доступ в аккаунт Google и адрес Google Sheet, куда экспортировать.
И тогда получится полноценный автоматический мониторинг скорости загрузки с визуализацией данных. Круто?

Интересное предложение. Но пока слишком трудоемкое на данном этапе.

Позже встроим проверку скорости в SiteAnalyzer, возможно уже там дополним функционал проверки скорости загрузки страниц вашим предложением.

RuCaptcha - обсуждение, отзывы, предложения.
Давно пользуемся Рукапчей, в том числе используем ее в наших инструментах SiteAnalyzer и PositionMeter. Радует гуманный ценник и простое внедрение инструмента в программный код.
BulkPageSpeed - Массовая проверка скорости загрузки страниц по Google PageSpeed
superb #:
Отличная программа! Только почемуто не сохраняются настройки: ключ, число потоков и кнопки Сохранить нет

Была ошибочка, уже выложили исправление:

  • добавлено автосохранение настроек: ключ, количество потоков, задержка между запросами
BulkPageSpeed - Массовая проверка скорости загрузки страниц по Google PageSpeed

Новая версия BulkPageSpeed 1.1





Что нового:

  • добавлена возможность сортировки колонок
  • добавлена возможность перепроверки отдельных URL
  • добавлено отображение скорости загрузки страниц на графике
  • добавлена возможность вставки URL из буфера обмена и Sitemap.xml
  • добавлено отображение расширенных сведений об ошибках оптимизации сайта
  • добавлен перевод программы на английский язык

Страница скачивания (4 Мб): https://site-analyzer.ru/soft/bulk-google-page-speed/

Информация по получению Google API Key: https://site-analyzer.ru/articles/pagespeed/

BulkPageSpeed - Массовая проверка скорости загрузки страниц по Google PageSpeed
Devvver #:
Помнится я подобное просил реализовать в site-analyzer, почему решили делать отдельным решением?

Пока тестировали сам процесс работы с АПИ, родилась данная небольшая программка. В будущем планируем встроить в SiteAnalyzer, но не могу пока сказать точно в этом ли году.

Через неделю выпустим обновление, чтобы можно было пользоваться проверкой скорости загрузки страниц более полноценно.

1... 141516171819202122 ...102
Всего: 1017