exp131

Рейтинг
69
Регистрация
26.05.2010
_han_:
как успехи?

Ободряюще :)

При тестах вытягивали и обсчитывали сайты размером более 500 тыс. страниц, за 5 дней (собственно 5 дней тащили, полдня считали). Нагрузку и железо и ПО держит.

Релиз PageWeight Online, планируем на понедельник 12-е марта (но дата еще не точно утверждена, возможны подвижки в пределах 3-5 дней).

Что будет:

  • Сканирование нескольких своих сайтов
  • Общая статистика по каждому сайту: количество страниц, уникальных ссылок (внешних/внутренних), анкор-лист
  • Вывод списка страниц/ссылок с фильтрацией по статусу (можно посмотреть битые, или запрещенные в robots.txt страницы), сортировками, поиском

Что будет немного позже:

  • Интерактивное графическое представление графа страниц/ссылок с наглядным отображением весов.
  • Моделирование (добавление/удаление ссылок, пересчет веса по новым данным) в табличном и визуальном ввиде.
  • Проверка наличия страницы в индексе Яндекса и Гугла с расчетом весов по этим страницам (за доплату)
  • Мониторниг перелинковки: при пересканировании сайта будут показаны изменения (новые страницы/ссылки, удаленные, новые страницы в индексе поисковых систем и др.)

Тарифы на PageWeight Online будут опубликованы позже, но цены вас приятно удивят. Так же будет введена новая система для реселлеров, позволяющая профессиональным СЕОшникам еще и заработать на этом инструменте.

akiselev:
Не хотелось бы видеть статус "запрещено в роботс тхт". Пусть остаются только страницы разрешенные либо пусть будет фильтрация чтобы показывало так или так.

Сделаем фильтрацию.

Всем, кто участвует в тестировании.

Просьба делиться вашим мнением о работе системы, что нравится, что не нравится, а так же пожелания. Тесты для того и проводятся чтобы отладить всю систему и сделать ее удобной для пользователей.

akiselev:
Пока по результату своего форума вижу что полная хрень у вас получилась)))

Надо обработку robots.txt , а то робот ваш лезет абсолютно туда куда не надо, а до куда надо не доходит.

Обработка роботс есть. А с момента куда надо, куда не надо давайте разбираться. Для того и тестируем, отладить. Все замечания по работе направляйте в поддержку через личный кабинет, тогда все учтем и исправим.

А вообще задача нашего робота залезть поглубже 😂 и показать вам сайт как он есть. Если наш робот добрался до каких-то страниц то не исключено что и поисковик сможет.

akiselev:
Можно поконкретнее, те сайты что вам будут присланы на почту их увидят все?

Нет, публичного доступа не будет. Эти сайты будут видны только вам. И пишите с того ящика на который покупалась PageWeight, чтобы вас можно было идентифицировать.

vasa666:
Не знаю писали или нет, лень всё перечитывать...
Установил версию PageWeight Base Beta-2 2.0 03.02.2012
стоит Windows 7

Программу так и не удалось запустить(( то зависает при наборе адреса сайта, то при лазании по меню.. ((

Это первое подобное сообщение. Но, постараемся найти в чем дело. Напишите в поддержку описание вашего компьютера подробно, какие аппаратные ресурсы, какая версия Windows 7.

akiselev:
Добавил к вам большой сайт пару часов назад, прихожу проверить как дела и вижу:

Временно недоступно
В данный момент наблюдаются проблемы связи с сервером Page Weight Online, поэтому сервис временно недоступен. Приносим извинения за неудобства. Попробуйте позже.

Возникли проблемы с сервисом. Подробнее здесь.

Пришло время объясниться.

Как вы уже заметили бета-тест закончился не успев толком начаться. Как ни грустно это сообщать, но придется: мы "накосячили" 🤪

При тестах делали упор на размер сайта а не на колиечество параллельных сканов, и за это поплатились, вытягивая сайты размером более 100к страниц и 2 млн. ссылок сервер не выдержал полсотни параллельных процессов.

Можно было бы запускать по 5-10 сайтов вручную но, согласитесь, это не тот масштаб которого вы ждете. Поэтому мы вынуждены взять таймаут до понедельника (27-го февраля). До этого времени онлайн версия временно будет отключена, хотя ссылка в кабинетах останется.

Так же за это время поствим новые мощные сервера, и оптимизируем менеджер параллельных задач, и повторим попытку запуска.

Еще раз приношу извинения за неоправданные ожидания, но мы исправимся. Обещаю ;)

PS. К сожалению очередь не сохранилась, так что прошу всех кто успел внести свой сайт в очередь описать на почту. Добавим вручную и этот список будет эталонным альфа-тестом.

_han_:
еще раз, прога сколько страниц реально может спарсить? если в учет берем что на сайте больше 25К страниц....

Если брать версию Lite, то больше 10к уже могут быть проблемы, остальные справятся, но они еще не в стадии релиза. На этой неделе сможете попробовать версию Online.

Miha Kuzmin (KMY):
Короче сделайте уже, утомили :)

Договорились :)

Miha Kuzmin (KMY):
Для чего идеальный?

Для реальных условий. Это как сферический конь в вакууме. В нашей программе не будет таких единовременных нагрузок, и уж точно не в тестовой версии.

Всего: 467