При тестах вытягивали и обсчитывали сайты размером более 500 тыс. страниц, за 5 дней (собственно 5 дней тащили, полдня считали). Нагрузку и железо и ПО держит.
Релиз PageWeight Online, планируем на понедельник 12-е марта (но дата еще не точно утверждена, возможны подвижки в пределах 3-5 дней).
Что будет:
Сканирование нескольких своих сайтов
Общая статистика по каждому сайту: количество страниц, уникальных ссылок (внешних/внутренних), анкор-лист
Вывод списка страниц/ссылок с фильтрацией по статусу (можно посмотреть битые, или запрещенные в robots.txt страницы), сортировками, поиском
Что будет немного позже:
Интерактивное графическое представление графа страниц/ссылок с наглядным отображением весов.
Моделирование (добавление/удаление ссылок, пересчет веса по новым данным) в табличном и визуальном ввиде.
Проверка наличия страницы в индексе Яндекса и Гугла с расчетом весов по этим страницам (за доплату)
Мониторниг перелинковки: при пересканировании сайта будут показаны изменения (новые страницы/ссылки, удаленные, новые страницы в индексе поисковых систем и др.)
Тарифы на PageWeight Online будут опубликованы позже, но цены вас приятно удивят. Так же будет введена новая система для реселлеров, позволяющая профессиональным СЕОшникам еще и заработать на этом инструменте.
akiselev: Не хотелось бы видеть статус "запрещено в роботс тхт". Пусть остаются только страницы разрешенные либо пусть будет фильтрация чтобы показывало так или так.
Просьба делиться вашим мнением о работе системы, что нравится, что не нравится, а так же пожелания. Тесты для того и проводятся чтобы отладить всю систему и сделать ее удобной для пользователей.
akiselev: Пока по результату своего форума вижу что полная хрень у вас получилась)))
Надо обработку robots.txt , а то робот ваш лезет абсолютно туда куда не надо, а до куда надо не доходит.
Обработка роботс есть. А с момента куда надо, куда не надо давайте разбираться. Для того и тестируем, отладить. Все замечания по работе направляйте в поддержку через личный кабинет, тогда все учтем и исправим.
А вообще задача нашего робота залезть поглубже 😂 и показать вам сайт как он есть. Если наш робот добрался до каких-то страниц то не исключено что и поисковик сможет.
akiselev: Можно поконкретнее, те сайты что вам будут присланы на почту их увидят все?
Нет, публичного доступа не будет. Эти сайты будут видны только вам. И пишите с того ящика на который покупалась PageWeight, чтобы вас можно было идентифицировать.
vasa666: Не знаю писали или нет, лень всё перечитывать...
Установил версию PageWeight Base Beta-2 2.0 03.02.2012
стоит Windows 7
Программу так и не удалось запустить(( то зависает при наборе адреса сайта, то при лазании по меню.. ((
Это первое подобное сообщение. Но, постараемся найти в чем дело. Напишите в поддержку описание вашего компьютера подробно, какие аппаратные ресурсы, какая версия Windows 7.
akiselev: Добавил к вам большой сайт пару часов назад, прихожу проверить как дела и вижу:
Временно недоступно
В данный момент наблюдаются проблемы связи с сервером Page Weight Online, поэтому сервис временно недоступен. Приносим извинения за неудобства. Попробуйте позже.
Как вы уже заметили бета-тест закончился не успев толком начаться. Как ни грустно это сообщать, но придется: мы "накосячили" 🤪
При тестах делали упор на размер сайта а не на колиечество параллельных сканов, и за это поплатились, вытягивая сайты размером более 100к страниц и 2 млн. ссылок сервер не выдержал полсотни параллельных процессов.
Можно было бы запускать по 5-10 сайтов вручную но, согласитесь, это не тот масштаб которого вы ждете. Поэтому мы вынуждены взять таймаут до понедельника (27-го февраля). До этого времени онлайн версия временно будет отключена, хотя ссылка в кабинетах останется.
Так же за это время поствим новые мощные сервера, и оптимизируем менеджер параллельных задач, и повторим попытку запуска.
Еще раз приношу извинения за неоправданные ожидания, но мы исправимся. Обещаю ;)
PS. К сожалению очередь не сохранилась, так что прошу всех кто успел внести свой сайт в очередь описать на почту. Добавим вручную и этот список будет эталонным альфа-тестом.
_han_: еще раз, прога сколько страниц реально может спарсить? если в учет берем что на сайте больше 25К страниц....
Если брать версию Lite, то больше 10к уже могут быть проблемы, остальные справятся, но они еще не в стадии релиза. На этой неделе сможете попробовать версию Online.
как успехи?
Ободряюще :)
При тестах вытягивали и обсчитывали сайты размером более 500 тыс. страниц, за 5 дней (собственно 5 дней тащили, полдня считали). Нагрузку и железо и ПО держит.
Релиз PageWeight Online, планируем на понедельник 12-е марта (но дата еще не точно утверждена, возможны подвижки в пределах 3-5 дней).
Что будет:
Что будет немного позже:
Тарифы на PageWeight Online будут опубликованы позже, но цены вас приятно удивят. Так же будет введена новая система для реселлеров, позволяющая профессиональным СЕОшникам еще и заработать на этом инструменте.
Не хотелось бы видеть статус "запрещено в роботс тхт". Пусть остаются только страницы разрешенные либо пусть будет фильтрация чтобы показывало так или так.
Сделаем фильтрацию.
Всем, кто участвует в тестировании.
Просьба делиться вашим мнением о работе системы, что нравится, что не нравится, а так же пожелания. Тесты для того и проводятся чтобы отладить всю систему и сделать ее удобной для пользователей.
Пока по результату своего форума вижу что полная хрень у вас получилась)))
Надо обработку robots.txt , а то робот ваш лезет абсолютно туда куда не надо, а до куда надо не доходит.
Обработка роботс есть. А с момента куда надо, куда не надо давайте разбираться. Для того и тестируем, отладить. Все замечания по работе направляйте в поддержку через личный кабинет, тогда все учтем и исправим.
А вообще задача нашего робота залезть поглубже 😂 и показать вам сайт как он есть. Если наш робот добрался до каких-то страниц то не исключено что и поисковик сможет.
Можно поконкретнее, те сайты что вам будут присланы на почту их увидят все?
Нет, публичного доступа не будет. Эти сайты будут видны только вам. И пишите с того ящика на который покупалась PageWeight, чтобы вас можно было идентифицировать.
Не знаю писали или нет, лень всё перечитывать...
Установил версию PageWeight Base Beta-2 2.0 03.02.2012
стоит Windows 7
Программу так и не удалось запустить(( то зависает при наборе адреса сайта, то при лазании по меню.. ((
Это первое подобное сообщение. Но, постараемся найти в чем дело. Напишите в поддержку описание вашего компьютера подробно, какие аппаратные ресурсы, какая версия Windows 7.
Добавил к вам большой сайт пару часов назад, прихожу проверить как дела и вижу:
Временно недоступно
В данный момент наблюдаются проблемы связи с сервером Page Weight Online, поэтому сервис временно недоступен. Приносим извинения за неудобства. Попробуйте позже.
Возникли проблемы с сервисом. Подробнее здесь.
Пришло время объясниться.
Как вы уже заметили бета-тест закончился не успев толком начаться. Как ни грустно это сообщать, но придется: мы "накосячили" 🤪
При тестах делали упор на размер сайта а не на колиечество параллельных сканов, и за это поплатились, вытягивая сайты размером более 100к страниц и 2 млн. ссылок сервер не выдержал полсотни параллельных процессов.
Можно было бы запускать по 5-10 сайтов вручную но, согласитесь, это не тот масштаб которого вы ждете. Поэтому мы вынуждены взять таймаут до понедельника (27-го февраля). До этого времени онлайн версия временно будет отключена, хотя ссылка в кабинетах останется.
Так же за это время поствим новые мощные сервера, и оптимизируем менеджер параллельных задач, и повторим попытку запуска.
Еще раз приношу извинения за неоправданные ожидания, но мы исправимся. Обещаю ;)
PS. К сожалению очередь не сохранилась, так что прошу всех кто успел внести свой сайт в очередь описать на почту. Добавим вручную и этот список будет эталонным альфа-тестом.
еще раз, прога сколько страниц реально может спарсить? если в учет берем что на сайте больше 25К страниц....
Если брать версию Lite, то больше 10к уже могут быть проблемы, остальные справятся, но они еще не в стадии релиза. На этой неделе сможете попробовать версию Online.
Короче сделайте уже, утомили :)
Договорились :)
Для чего идеальный?
Для реальных условий. Это как сферический конь в вакууме. В нашей программе не будет таких единовременных нагрузок, и уж точно не в тестовой версии.