Surok97

Surok97
Рейтинг
120
Регистрация
26.04.2007

Большое всем спасибо за фидбэк и предложения по улучшению системы.

Вы нам очень сильно помогаете.

Все предложения записываются, большая часть из них будет реализовано.

Демонстрация работы модуля «Контроль».

1. Обновление 11 параметров для 50 сайтов, используются 10 локальных ip адресов. Весь парсинг занял около 6 минут http://youtu.be/pgiHxlObYAI

2. Обновление нескольких параметров для 50 сайтов столбцами, используются прокси сервера, прокси не эксклюзивные http://youtu.be/F5wFyA23YxE

Выпустили обновление http://site-control.ru/news/301/

Сделал запись, чтобы понимали, что система работает, не так хорошо, как бы хотелось, но это вопрос только времени.

sanitarn:
Я конечно не помню, в старом скрипте были подразделения на стандарт и про, помоему небыло? Сейчас что старым пользователям, для полного функционала, нужно еще купить Про версию и на себе протестировать работоспособность скрипта?

Да, не было. Но мы сделали разделение таким образом, что все владельцы лицензий предыдущих версий ничего не потеряют, так как функционал версии Pro, имеет в себе, то чего в предыдущих версиях не было, либо было сделано очень "коряво".

То есть перейдя на новую версию standsart, не потребуется докупать Pro чтобы полноценно пользоваться системой. Pro предназначена для командной работы.

KSin:

Стал работать парсинг в модуле Контроль, однако, после того, как нажимаю на кнопку ОБНОВИТЬ - не видно прогресс-бара, пока хотя бы 1 сайт не обновит. Хотелось бы видеть какое-то визуальное подтверждение, что скрипт думает. Какая-то полупрозрачная Гиф-анимашка, которая бы висела посреди экрана (или в другом месте - например в шапке справа) или другой механизм. Иги прогресс-баре не в самом низу страницы, а в шапке. Короче, чтобы видно было, что скрипт парсит, а не просто тупит.

Чтобы показывался прогесс до окончания парсинга строки нужно многое переделывать в системе парсинга.

Задача по переделке стоит, но отложена, правим баги.

Насчет выноса прогесс-бара на видное место обдумаем.

KSin:

Кстати, как-то раз у меня появилась вот такая ошибка в модуле КОНТРОЛЬ в процессе парсинга:
CDbException
CDbCommand не удалось исполнить SQL-запрос: SQLSTATE[HY000]: General error: 2006 MySQL server has gone away

Создайте тикет, разберемся (возможно уже создали, не успеваем обрабатывать.)

KSin:

Еще хотелось бы, чтобы при клике по тИЦ, меня бы перекидывало на страницу yaca.yandex.ru/yca/cy/ch/www.site.ru/
Если кликаю на число страниц, то чтобы перекидывало бы на yandex.ru/yandsearch?text=&site=site.com&ras=1&site_manually=true&lr=213 - ны Вы поняли о чем я, да? То есть перекидывало бы на ту страницу, откуда парсилось. В логах ссылки на эти страницу есть. Но удобнее было бы прямо из модуля КОНТРОЛЬ переходить по этим ссылкам.

Понял, подобная задача стоит, сделаем.

KSin:

Не понятно, как снимать позиции в Яндексе, используюя XML. Куда вводить Логин и ключ XMLЯндекса? Что выбирать в профиле парсинга? Если выбрать Яндекс Xml, то там зона только Россия... Если Выбрать Россию, тогда после импорта из старой версии, запросы не подцепляются. Да и в логах все равно написано, чтоб из обычной выдачи позиция парсилась, а не из XML.

Про регионы в xml забыли, сегодняшнее обновление 3.20 уже с регионами.

Пометил, инструкцию напишу.

Добавлять аккаунт для xml так http://yadi.sk/d/n6CalHXiLaxou он общий для всех модулей.

В настройках xml в профиле укажите ip на который привязан xml

Чуть сложней, но зато можно добавлять неограниченное количество аккаунтов xml и делать разные настройки для разных профилей парсинга. + юзать через прокси! ))

KSin:

Еще в логах у меня почти везде написано ERROR_WRONG_USER_KEY - какой юзер и какой КЕЙ ему не нравится?

Выше написал.

KSin:

Не понимаю, какой теперь смысл в Группах запросов, если для каждой группы нужно делать отдельный профиль парсинга. У меня вот были групыы запросов ВЧ, СЧ, НЧ, Около ТОП и тд. Для каждой этой группы мне нужно теперь делать профиль парсинга? Все профили парсинга у меня одинаковые (да и у всех наверно)

Можно использовать один и тот же.

Привязка профилей парсинга сделана к группе, а не к сайту, чтобы можно было в рамках одного сайта работать с разными регионами, с разной частотой их обновлять по крон.

К примеру у меня 1000 запросов.

100 из них мне нужно обновлять в гугле и яндексе каждый день, а 900 в гуглу, яндексе, мэйл и бинг, раз в неделю.

Я создам 2 группы, и 2 профиля парсинга.

100 из них мне нужно обновлять в гугле и яндексе каждый день, а 900 в гуглу, яндексе, раз в неделю.

То я создам 2 группы, но профиль парсинга будет один.

Сейчас немного сложно воспринимать из-за интерфейсов, которые местами нелогичны и недоделаны.

KSin:

- Позиции Яндекса снимаются через XML, позиции Гугла через Прокси. В результате, у каждого сайта по 4 группы, по 4 профиля парсинга, при этом профили парсинга все одинаковые... Прокомментируйте пожалуйста. Может я чего-то недопонял?

Ответил, Вы не поняли.

KSin:

Как посмотреть, какое место сайт занимал по определенному запросу месяц-два назад, например?

http://yadi.sk/d/ick0AxhvLcKaj

KSin:

Почему-то после импорта, на диаграмме нет графика...

Пишите в саппорт с данными от скрипта.

KSin:

В инструкции http://site-control.ru/support/documentation/old-to-new/#import сказано "Профиль парсинга должен быть создан с теми же настройками региона, как в старой версии, иначе история запросов не «зацепится» в новой системе."
У Яндекса получилось, а вот у Гугла нет. Так как в старой версии были следиющие параметры: Страна, Место, Язык. У моих сайтов было выбрано так: Страна - Россия(ru), Место - Москва, Язык - не выбран. А в новой версии нет параметра МЕСТО. Соответственно, позиий по своим запросам из гугла я не вижу.

Похоже региональность гугла тоже упустили((

Я завтра утром разберусь, что там должно быть и добавим.

KSin:

Еще очень важная штука - выделение через SHIFT. То есть, я не хочу выделять все сайты/запросы, а хочу определенный диапазон. Жму на 10 и на 20-тую галочку - выделяются все с 10 по 20. В старом скрипте работало, тут пока нет.

Программист посмотрит, если не долго, то сразу добавит, иначе, отложим до решения багов.

Но добавим.

KSin:

Очередь у меня не работает. Ошибка
Error 500
Trying to get property of non-object

Подробней, какие действия и желательно с доступами, починим.

clock:
По интерфейсу пара пожеланий:
- верните отображение фавиконок в список сайтов
- прикрутите возможность менять порядок столбцов

В модуле контроль фавиконки есть http://yadi.sk/d/hpj9xuY1LWAjD

Так же есть возможность менять порядок столбцов, изменяя цифирное значение позиции.

Есть еще вариант, перетаскиванием столбцов, нажимая чуть выше заголовка, но данный метод глючный, чуть позже исправим и сделаем более удобный вариант изменения положения столбцов.

Про фавиконки в модуле позиций забыли, добавим.

bziksv:
Мои коллеги, которые со мной пользуются на работе данным скриптом старой версии, крайне негативно отозвались о новом интерфейсе...

Не хватает наглядности и интуитивности...

Интерфейсами мы занимались очень мало, я этого не скрывал и не скрываю. Основной упор делали на парсинг, основная задача системы получать своевременно корректные данные.

Проект в активной стадии разработки, поэтому большинство предложений будут реализованы.

Предложения по интерфейсу, которые не требуют глобальных изменений вёрстки, будем внедрять очень быстро.

Пишите, что не устраивает и, как вы бы хотели это видеть.

Большинство проблем сейчас из-за разных конфигураций серверов, к сожалению все нельзя предусмотреть заранее.

Так же есть много мелких недоработок и упущений, правим.

bziksv:
Сегодня кое как запустили съем по гуглу на новой версии, яндекс отказывается рисует ошибку:
500:
CDbException

CDbCommand не удалось исполнить SQL-запрос: SQLSTATE[HY000]: General error: 2006 MySQL server has gone away

Пожалуйста, создайте тикет и предоставьте доступы к серверу:

FTP

логин

пароль

url

Логин

пароль

DB

url phpmyadmin

Название БД

Префикс таблиц

Пользователь

Пароль

Обязательно разберёмся и устраним проблему.

-----------

TeXiCo:
Да логику интерфейса усложнили, дальше некуда, но это полбеды, главное теперь ещё заставить это работать :)

Итого, что у меня вышло:
1) Установка прошла успешно, только под пользователем БД root (не уверен, что это безопасно)
2) При установке обязательно введение ключей от маркета, иначе установка не идет, изначально в инструкции по установке этого не было.
3) Покупал два модуля контроль и позиции...сейчас заинтересован в корректной работе модуля контроль, поэтому пытался заставить работать его нормально :)
4) Добавил для теста 4 домена, настроил нужные столбцы и выбрал парсинг с локального IP по дальнейшей логике, нажал кнопку "обновить"....и все скрипт ушел в даун отдав 504 ошибку Bad Gateway, немного подумав догадался, что возможно причина в том, что не задал локальный IP в разделе "прокси" (я бы сделал подсказки какие-то при добавлении проекта тогда), зашел, задал...вернулся назад в модуль контроль на вкладку "сайты",запустил парсинг..на этот раз парсинг пошел...проверилось 2 сайта из 4 для оставшихся двух выдало 500: PHP Error [8] Undefined offset: 1 и данные не сняло.
5) Дату обновления данных лучше выводить отдельным столбиком, дата регистрации, дата истечения для .ua доменов не снимается...собственно говоря из всего функционала мне это было нужнее всего, чтоб не забывать что-то продлить :)

По интерфейсу ответил выше.

1. Система должна устанавливаться под обычным пользвоателем, скорее всего нехватило каких-то прав. Если Вы предоставите доступ к серверу для пользователя из под, которого не удалось установить, то мы выясним причину.

2. Не успели обновить файл install, запретили установку без api key так как возникало много проблем и непониманий со стороны пользователей. По это требование обязательно.

4. Подсказки не успели сделать, документацию тоже не успели полноценную написать, это моя недоработка, не успеваю. Вчера обновил документацию по маркету и миграции данных. Пожалуйста, предоставьте доступы, найдем ошибку и устраним.

5. Не соглашусь, вывод отдельным столбиков отъест много места, возможно стоит сделать сокращенную дату, подумаем, как сделать. Единственный недоработанный парсер сейчас это Whois из-за его сложности было принято решение немного отложить его, но удалять из модуля не стали. Где можно взять самые актуальные данные для зоны .ua ?

Планируем добавить и оповещения и прочие удобства для работы с доменами, но задача не первоочередная.

TeXiCo:
В общем скрипт ещё пилить и пилить, я пока не вижу за что тут можно заплатить, надеюсь у вас все наладилось и вы выкатите наконец-то более менее рабочую систему :)

Платить мы не призываем, как и переходить со старой версии, но публичный тест системе необходим, поэтому и выкатили.

KSin:
Ну... Они же сказали, что это публичный БЭТА-тест. Значит не все еще доведено до ума. Вот если бы они сказали: "Это релиз - все супер, ставьте и платите" - тогда было бы не красиво. А так, все правильно сделали. Бэта-тест, кто хочет, тот ставит, кто не хочет - не ставит и ждет, когда баги пофиксят.

Спасибо! Все верно, кто хочет, тот ставит, кто не хочет продолжает пользоваться старой версией.

TeXiCo:
Так, а смысл у лицензий отсчитывать дни тогда? Где гарантия, что до окончания лицензии, все будет работать хорошо? А обновиться до последней версии после окончания, как я понимаю нельзя. Я купил два платных модуля, как раз перед перепродажей владельцем и после нововведений яндекса, посути модулем "позиции" не пользовался...так как парсилось сутками. Если, что без обид для новых создателей писал. Просто реально ещё очень много работы и хочется понимать, примерные сроки когда основной функционал будет корректно работать, roadmap может какой-то, сам заинтересован, аналогов то живых вроде как и нет, кроме panelwm, но мне не подходит по некоторым причинам :)

А почему мы не должны отсчитывать дни у лицензии? Лицензия для старых и новых версий сейчас едина!

Гарантии, что все будет работать хорошо нет, но мы гарантируем, что будем делать все зависящее от нас, чтобы все работало правильно.

Обновится можно будет в течение полутора лет! Все же на сайте написано http://site-control.ru/support/documentation/old-to-new-license/

Да, работы много, какие-то сроки определить сложно, так как основная проблема это разница настроек серверов. Надеюсь, что за месяц большинство проблем решим.

Чем активней Вы будите указывать нам на недочеты, тем быстрей мы их исправим.

Выпустили обновление с багфиксами.

+ добавили кэширование запросов, подробней здесь http://site-control.ru/news/299/

---

Завтра напишу подробную инструкцию, как переносить данные со старой версии, сегодня уже не успеваю.

clock:
000000010 Последнее оповещение было 25го, о вчерашних ответах на почту ничего не упало.

Ответил на ваши сообщения, скажите оповещение на почту пришло?

clock:
Surok97, дабы не засорять свой тикет небольшой фидбек:

- Перестали идти оповещения об ответах в тикете на почту.
- Переносы строк в переписке тикета не работают - сообщения от меня идут в одну строку.
- Дайте ссылки на старую версию. И ключи от нее.

1. Проверил, работают. Назовите id тикета, я сделаю ответ, проверим.

2. Вопрос решаем с ТП cms

3. Информацию о старой версии выгрузим завтра, сегодня не успеваем.

KSin:
А еще на сайте Сайт-Контрола авторизуюсь, ставлю галку ЗАПОМНИТЬ, но все равно не запоминает и через некоторое время опять приходится авторизовываться.

Это косяк cms, в новой версии они исправили, но обновлять пока не рискуем, много дописывали своего, не хочется отлавливать баги из-за обновления. Чуток устаканится, обновим сайт.

---

Нашли причину ошибки Trying to get property of non-object

Проблема: пока не зайдешь в Прокси->Настройки->Сохранить нет параметров по умолчанию, на это и ругается.

Завтра выложим версию с устранением всех найденных и исправленных ошибок.

KSin:
Создал еще вчера тикет 000000033 - пока тишина.........
Сегодня создал еще один тикет.
Готов предоставить доступы, но в тикетах не отвечают пока :(

Ответил, давайте начнем решать вашу проблему.

KSin:
Попробовал новую версию...
Сначала о хорошем:
+ Выглядит красиво.
+ Куча настроек, а это означает, что система более гибкая.
+ Потенциал виден.
+ Прикольно работает проверка проксей.
+ Понравились графики с историей позиций (у меня на них самих графиков правда нет, но после съема позиций появятся)

За позитив спасибо!

KSin:
- К сожалению, у меня скрипт почти не работает... После установки скрипт выдал 500 ошибку. Ошибку убрал, закомментировав несколько строк в файле .htaccess:
# php_flag display_errors on
# php_value error_reporting 2047
# php_value max_execution_time 600
# php_value upload_max_filesize 32M
# php_value post_max_size 32M
После этого зайти в админку удалось.

Нужно разбираться с вашим случаем, создайте тикет с доступами, разберемся.

Много ошибок из-за разных конфигураций серверов, часто сервера настроены коряво.

KSin:

- Попробовал создать сайт, создать запросы, прописал прокси, прописал XMl для яндекса, попробовал снять позиции - не работает. Скрипт сказал: "500:PHP Error [8] Trying to get property of non-object". В модуле Контроль тоже ничего не снимается - ошибка та же.

Ошибка возникла уже у нескольких пользователей, пока доступы нам не давали, дайте и мы её решим.

KSin:

- Попробовал импортировать сайты из старой версии (предварительно обнулил базу). Скрипт импорта выдал в процессе белый экран. Сайты импортировались, а вот запросы и вся история нет. Еще импортировались группы.
- Попробовал сменить логин и пароль - больше в админку зайти не смог. Точнее смог, но в админке ничего не доступно и ошибка говорит о том, что доступ закрыт. Пришлось откатить БД.

Вчера вечером обновили скрипт импорта, до этого скрипт не мог импортировать большое количество данных из-за ограничения настроек сервера. Если скрипт уже новый пробовали, то только в ТП.

KSin:

- Скрипт, конечно, усложнили... Но если/когда доведут до ума, то будет хорошая штука. Жаль, что у меня скрипт пока так и не заработал. Буду терзать техподдержку и пытаться разобраться сам.

Буду рад решить проблемы со скриптом.

KSin:

В любом случае, проделана огромная работа и это видно, но допиливать, и допиливать еще. Когда заработает, то будет конфетка :)

В новости это в открытую написал, но система уже лучше работает чем старая, но есть проблемы с установкой.

KSin:

П.С. Поздравляю Surok97 с рождением СЫНА!

Спасибо!

TeXiCo:
Пока тикеты, как надо не работаю, лучше в тему текущую писать?

Нет, лучше пишите в тикеты, не удобно отвечать и в теме и в тикетах, запросы, как правило дублируются.

TeXiCo:

Захожу в раздел модули. Напротив модуля кнопка "обновить ядро"
https://drive.google.com/file/d/0ByEhKUhC7IKabWRFTzd5dmR6Tnc/edit?usp=drivesdk

При нажатии на неё:
Error 500
Error while migrate up core

Какая версия ядра установлена? Посмотреть можно здесь /package/core/index

Путарито:
Используем версия 2.42, модуль control, приобретенный 21.03.14 20:44
В разделе "Лицензии" пропала информация об активации этого продукта.

Повторно активировали на тот же домен.
"Еще 177 дн. обновлений и тех. поддержки"



Чего же так быстро время то бежит? :)

С таким вопросом в тикеты, ибо я не знаю, вашего лоигина, соответственно и проверить почему сократился срок лицензии не могу. Очевидно, что ошибка, напишите нам, разберемся.

Путарито:
А самое главное, откуда скачать новую версию?

http://site-control.ru/module/kernel/

Путарито:

Куда сейчас лучше обращаться за поддержкой?
На почту - молчат, тикеты - молчат.

Пишите в тикеты, не все проблеы вчера успели решить, сегодня продолжим их решать.

На почту приходило только одно письмо, ответил еще вчера.

Путарито:

И еще назрели вопросы:

- Как узнать свой лицензионный код для последующего использования
версии 2.42? И нужен ли он вообще?
- Можно ли использовать совместно обе версии на одном домене, чтобы
определиться какую именно использовать?

http://site-control.ru/news/294/ "Важно, переход на новую версию системы не лишает вас лицензии на использование прежних версий SiteControl, как минимум в течение 3х месяцев с момента публикации этой новости."

Информацию о лицензиях старых версий на днях выведем в личном кабинете.

Путарито:

Не успели поставить вот эти бесплатные модули:
- Время последнего посещения сайта Яндекс роботом
- Посещаемость по LiveInternet (за прошедшие сутки)
- % страниц в основном индексе Google (supplemental)
- Доход сайта в Sape
- Доход сайта в Setlinks
- Доход сайта в Linkfeed

Где их взять?

Вот эти есть в системе:

- Наличие сайта в Вебархиве

- Набор библиотек для ЯндексБлог (место, читателей, авторитет)

- Посещаемость по LiveInternet (изображение)

Остальные добавим в ближайшее время, когда основные проблемы решим.

Добавления библиотек доходов в ближайших планах нет.

Что-то письма оповещения из темы не пришли.

TeXiCo:
База пустая, доступы выслал, тикет #15

Причину нашли, ошибка "Ошибка при восстановлении дампа БД." Появляется из-за отсутствия прав для базы данных.

Требуются права: CREATE, INSERT, UPDATE, SELECT + CREATE VIEW + SHOW VIEW

Скорее всего, нет прав CREATE VIEW + SHOW VIEW

Проблема решается добавлением соответствующих прав.

Завтра выложим install, который будет проверять эти права.

---

С новыми тикетами пока проблема, оповещения ответственным не приходят, разбираемся.

bziksv:
не отображает новая версия добавленные сайты в модулях, только в разделе /sites/index

Модуль не имеет доступа к группе сайтов /groups/1 http://yadi.sk/d/2ByOtClQLGDVC

bziksv:
старая версия уже 2-й день не снимает яндекс ни через прокси ни через xml очередной глюк...как то было такое...

вот решил новую попробывать, крон вроде отработал, запускал его через шелл...дал на некоторые ответ Not available in Free edition, хоть что то, так то не понять, куда он там логи пишет...

Создайте тикет поможем перейти на новую версию.

Все проблемы решим.

------

Обновили скрипт импорта, теперь большие объемы импортирует, но остался мелкий недочет, завтра утром исправим.

clock:
Surok97, импорт позиций не работат((
000000010 тикет.

Задача передана программисту, ожидайте.

Главное ничего на сервере не меняйте, чтобы не мешать.

Всего: 331