Комментарии
Избранное
Подписка
Сортировка:
Древо
Отличная статья!
APDEX - попытка перевода субъективного мнения пользователя в какие-то цифры. Как и любая цифровизация страдает кучей допущений и упущений. На мой взгляд - красочный вид и помощь в сдаче работ - это как раз его основное предназначение.
APDEX - попытка перевода субъективного мнения пользователя в какие-то цифры. Как и любая цифровизация страдает кучей допущений и упущений. На мой взгляд - красочный вид и помощь в сдаче работ - это как раз его основное предназначение.
(5) Я вас понимаю.
Но ведь эта оценка является субъективной, в том плане, что приоритеты и целевое время операций определяеися бизнес-пользователями. По крайней мере должно.
С другой стороны есть объективные показатели работы системы: нагрузка на сеть, CPU, диски, время выполнения операций в секундах и др.
Почему бы не опираться на них при аудите системы.
Но ведь эта оценка является субъективной, в том плане, что приоритеты и целевое время операций определяеися бизнес-пользователями. По крайней мере должно.
С другой стороны есть объективные показатели работы системы: нагрузка на сеть, CPU, диски, время выполнения операций в секундах и др.
Почему бы не опираться на них при аудите системы.
(11)
Я согласен, но APDEX можно всегда "подогнать" под нужные цифры, то есть им можно манипулировать в свою пользу. Я к тому и веду, что все равно нужны объективные метрики, которые ни APDEX, ни подсистема "Оценка производительности" не смогут дать.
Альтернативные варианты это сбор метрик инфраструктуры, есть также платные решения для замера времени операций в конфигурациях, которые лишены многих перечисленных в статье недостатков, но называть их не буду. А то будет реклама.
но собирать объективные метрики и реагировать, чтобы APDEX оставался в установленных рамках.
Я согласен, но APDEX можно всегда "подогнать" под нужные цифры, то есть им можно манипулировать в свою пользу. Я к тому и веду, что все равно нужны объективные метрики, которые ни APDEX, ни подсистема "Оценка производительности" не смогут дать.
Альтернативные варианты это сбор метрик инфраструктуры, есть также платные решения для замера времени операций в конфигурациях, которые лишены многих перечисленных в статье недостатков, но называть их не буду. А то будет реклама.
(6)
можно, но вы столкнетесь с тем, что эти параметры не статичны и иногда изменяются в довольно широких диапазонах и тут встанет вопрос, какие значения брать, средние? Тогда любой пик сразу вызовет нарушение SLA, если взять пиковые значения, тогда есть риск просто пропустить аварию.
Или, оговорили, что нагрузка на проц не должна быть выше 90%, но прикол в том, что и 91% на скорости работы может никак не отразиться, т.е. мы имеем нарушение договоренностей без влияния.
Ок, берем время выполнения, описываем какое оно должно быть. А если одна операция из ста будет выше нормы? а если из тысячи, тоже превышение?
нагрузка на сеть, CPU, диски, время выполнения операций в секундах и др.
можно, но вы столкнетесь с тем, что эти параметры не статичны и иногда изменяются в довольно широких диапазонах и тут встанет вопрос, какие значения брать, средние? Тогда любой пик сразу вызовет нарушение SLA, если взять пиковые значения, тогда есть риск просто пропустить аварию.
Или, оговорили, что нагрузка на проц не должна быть выше 90%, но прикол в том, что и 91% на скорости работы может никак не отразиться, т.е. мы имеем нарушение договоренностей без влияния.
Ок, берем время выполнения, описываем какое оно должно быть. А если одна операция из ста будет выше нормы? а если из тысячи, тоже превышение?
Спасибо автору за ликбез. Подсистемой никогда не пользовался, хотя постоянно на неё натыкаюсь в типовых и тп. Примерно так всё и представлял. Сплошной маркетинг. В бух3, кстати, регулярно сыпятся ошибки из-за этой подсистемы ;))
достаточно отказаться от оценки собранных времен через различные дополнительные формулы, а вручную оценивать собственно собранные времена, и делов то
неужели для этого надо статьи писать
неужели для этого надо статьи писать
(8) все, конечно, так, но и замеры могут быть неадекватными из-за ошибок и особенностей алгоритмов сбора в подсистеме.
Статья для полноты и целостности. А так можно было просто написать: "Не используйте APDEX и замеры времени БСП. Лучше использовать альтернативные решения для мониторинга.".
Статья для полноты и целостности. А так можно было просто написать: "Не используйте APDEX и замеры времени БСП. Лучше использовать альтернативные решения для мониторинга.".
(10) странный вывод, наоборот, доработайте стандартную подсистему - выкорчуйте оттуда индексы, оставьте время
по поводу ошибок замеров - ну во первых есть два подхода:
1. по подписке
2. в явном виде вручную время До и время ПОСЛЕ
первый способ применяется на первом этапе "ознакомления", второй соответственно последовательно на втором этапе, когда общая картина ясна и нужно работать точечно
кроме того, классический апдекс собирает только сервер, красиво доработать код и собирать время на клиенте - это конечно больше усилий, но тогда можно поймать "белый экран", который на стороне сервера 1С часто не ловится вообще
по поводу ошибок замеров - ну во первых есть два подхода:
1. по подписке
2. в явном виде вручную время До и время ПОСЛЕ
первый способ применяется на первом этапе "ознакомления", второй соответственно последовательно на втором этапе, когда общая картина ясна и нужно работать точечно
кроме того, классический апдекс собирает только сервер, красиво доработать код и собирать время на клиенте - это конечно больше усилий, но тогда можно поймать "белый экран", который на стороне сервера 1С часто не ловится вообще
(16) Думаю, что все кто плотно работает с подсистемой "Оценка производительности" допиливают ее под себя. Ниже в комментариях я давал пример.
>> Лучше использовать альтернативные решения для мониторинга
Тут я имел ввиду, что на рынке есть альтернатива подсистеме "Оценка производительности" от известной компании, название которой не скажу, а то сочтут за рекламу. Их решение не нагружает основную систему для записи статистических данных, а передает их в другое место.
Плюс как не допиливай БСПшное решение, некоторые проблемы все равно не решить:
1. Например, замер заканчивается "После записи" документа и вроде бы все хорошо, но клиентское приложение продолжает "думать". Такое может произойти, когда форма после записи отправляет оповещения другим формам, а те начинают делать свои дела.
2. Потерянные замеры также не решаются, то о чем писал в публикации.
3. Не все операции можно замерять с помощью ОП, например пролистывание динамического списка и другие встроенные в платформу действия.
В идеале, если бы замеры были встроены в саму платформу, тогда и контроль за ними был бы куда больше. Хотя замеры в платформе есть, но в виде технологического журнала. Но для APDEX его данные трудно использовать.
>> Лучше использовать альтернативные решения для мониторинга
Тут я имел ввиду, что на рынке есть альтернатива подсистеме "Оценка производительности" от известной компании, название которой не скажу, а то сочтут за рекламу. Их решение не нагружает основную систему для записи статистических данных, а передает их в другое место.
Плюс как не допиливай БСПшное решение, некоторые проблемы все равно не решить:
1. Например, замер заканчивается "После записи" документа и вроде бы все хорошо, но клиентское приложение продолжает "думать". Такое может произойти, когда форма после записи отправляет оповещения другим формам, а те начинают делать свои дела.
2. Потерянные замеры также не решаются, то о чем писал в публикации.
3. Не все операции можно замерять с помощью ОП, например пролистывание динамического списка и другие встроенные в платформу действия.
В идеале, если бы замеры были встроены в саму платформу, тогда и контроль за ними был бы куда больше. Хотя замеры в платформе есть, но в виде технологического журнала. Но для APDEX его данные трудно использовать.
1. APDEX хорош как метод грубой оценки, потому что если APDEX покажет отлично/хорошо, то навряд ли пользователи вообще захотят тестов, и навряд ли тестами вы выйдете на обратные результаты. И наоборот - APDEX 0.5 то навряд ли дело в замерах производительности.
2. С точки зрения общения с непрофессионалами вообще незаменим, он оттуда и вырос. К фин директору вы не придете с простыней где время выполнения запроса в микросекундах. А тут все понятно - плохо. хорошо. отлично
Ключевые операции конечно надо очень хорошо подбирать чтобы все заработало как надо, а не просто с настройками по умолчанию включать.
В принципе любую вещь не помешает настроить перед включением в продакт.
Запустите ТЖ с настройками по умолчанию и через час не только ошибки будут сыпаться как тут говорят, а просто сервер устанет.
2. С точки зрения общения с непрофессионалами вообще незаменим, он оттуда и вырос. К фин директору вы не придете с простыней где время выполнения запроса в микросекундах. А тут все понятно - плохо. хорошо. отлично
Ключевые операции конечно надо очень хорошо подбирать чтобы все заработало как надо, а не просто с настройками по умолчанию включать.
В принципе любую вещь не помешает настроить перед включением в продакт.
Запустите ТЖ с настройками по умолчанию и через час не только ошибки будут сыпаться как тут говорят, а просто сервер устанет.
Мы слегка доработали в своей конфигурации инициализацию замеров.
Есть вот такая функция
Используем так:
Перем ВремяНачалаЗамера;
ВремяНачалаЗамера = 0;
Процедура модуля объекта документа ПередЗаписью
Процедура ПриЗаписи
Процедура ОбработкаПроведения
В справочнике "Ключевые операции" созданы элементы с наименованием:
Документ.РеализацияТоваровУслуг.Проведение
Документ.РеализацияТоваровУслуг.Запись
Аналогично для любых произвольных алгоритмов
ПроизвольныйАлгоритм.СформироватьПрайсЛист
Пометив на удаление или сняв пометку - можно управлять запуском замера (не запускать - запускать).
Кроме того, если договориться, что во все существующие механизмы таким образом встраивать инициализацию и фиксацию - получается очень удобно. Нужно сделать замер - создал ключевую операцию, не нужно - удалил.
Есть вот такая функция
ИмяКлючевойОперацииЗамераПроизводительности |
|---|
// ИмяКлючевойОперацииЗамераПроизводительности
//
// Параметры:
// Объект - любой объект метаданных (СправочникОбъект, ДокументОбъект, ОтчетОбъект, ОбработкаОбъект и т.д.), либо ДокументСсылка/СправочникСсылка;
// ВидОперации - Строка, возможные значения:
// "Запись", "ИнтерактивнаяЗапись" - для справочников, документов, ПВХ, БП, задач, наборов записей РС и РН;
// "Проведение", "ИнтерактивноеПроведение", "ОтменаПроведения", "ИнтерактивнаяОтменаПроведения" - для документов;
// "Формирование" - для отчетов и обработок;
// "Печать.ИмяПечФормы" - для функций и процедур печати
// ЭтоДокСсылка - Булево;
// ЭтоСпрСсылка - Булево
// ИмяПроизвольногоАлгоритма - Строка. Если передан - поиск элемента ключевых операций будет выполнятся по имени: "ПроизвольныйАлгоритм." + ИмяПроизвольногоАлгоритма
// Возвращаемое значение:
// ИмяКлючевойОперацииЗамера - Строка
//
Функция ИмяКлючевойОперацииЗамераПроизводительности(Объект = Неопределено, ВидОперации = "", ЭтоДокСсылка = Ложь, ЭтоСпрСсылка = Ложь, ИмяПроизвольногоАлгоритма = "") Экспорт
Если ЗначениеЗаполнено(ИмяПроизвольногоАлгоритма) Тогда
НаименованиеДляПоиска = "ПроизвольныйАлгоритм." + ИмяПроизвольногоАлгоритма;
Иначе
Если Объект = Неопределено ИЛИ НЕ ЗначениеЗаполнено(ВидОперации) Тогда
Возврат ""
КонецЕсли;
НаименованиеДляПоиска = Объект.Метаданные().Имя + "." + СокрЛП(ВидОперации);
СтрокаТипаОбъекта = СтрЗаменить(Строка(ТипЗнч(Объект)), " ", "");
Если ЭтоДокСсылка ИЛИ ЭтоСпрСсылка Тогда
Если ЭтоДокСсылка Тогда
НаименованиеДляПоиска = "Документ." + НаименованиеДляПоиска;
ИначеЕсли ЭтоСпрСсылка Тогда
НаименованиеДляПоиска = "Справочник." + НаименованиеДляПоиска;
КонецЕсли;
Иначе
Если СтрНайти(СтрокаТипаОбъекта, "Документобъект") <> 0 Тогда
НаименованиеДляПоиска = "Документ." + НаименованиеДляПоиска;
ИначеЕсли СтрНайти(СтрокаТипаОбъекта, "Справочникобъект") <> 0 Тогда
НаименованиеДляПоиска = "Справочник." + НаименованиеДляПоиска;
ИначеЕсли СтрНайти(СтрокаТипаОбъекта, "Отчетобъект") <> 0 Тогда
НаименованиеДляПоиска = "Отчет." + НаименованиеДляПоиска;
ИначеЕсли СтрНайти(СтрокаТипаОбъекта, "Обработкаобъект") <> 0 Тогда
НаименованиеДляПоиска = "Обработка." + НаименованиеДляПоиска;
ИначеЕсли СтрНайти(СтрокаТипаОбъекта, "Планвидовхарактеристикобъект") <> 0 Тогда
НаименованиеДляПоиска = "ПланВидовХарактеристик." + НаименованиеДляПоиска;
ИначеЕсли СтрНайти(СтрокаТипаОбъекта, "Бизнес-процессобъект") <> 0 Тогда
НаименованиеДляПоиска = "БизнесПроцесс." + НаименованиеДляПоиска;
ИначеЕсли СтрНайти(СтрокаТипаОбъекта, "Задачаобъект") <> 0 Тогда
НаименованиеДляПоиска = "Задача." + НаименованиеДляПоиска;
ИначеЕсли СтрНайти(СтрокаТипаОбъекта, "РегистрсведенийнаборЗаписей") <> 0 Тогда
НаименованиеДляПоиска = "РегистрСведений." + НаименованиеДляПоиска;
ИначеЕсли СтрНайти(СтрокаТипаОбъекта, "Регистрнакоплениянаборзаписей") <> 0 Тогда
НаименованиеДляПоиска = "РегистрНакопления." + НаименованиеДляПоиска;
КонецЕсли;
КонецЕсли;
КонецЕсли;
Запрос = Новый Запрос;
Запрос.Текст =
"ВЫБРАТЬ
| КлючевыеОперации.Имя КАК Имя
|ИЗ
| Справочник.КлючевыеОперации КАК КлючевыеОперации
|ГДЕ
| НЕ КлючевыеОперации.ПометкаУдаления
| И КлючевыеОперации.Наименование = &Наименование";
Запрос.УстановитьПараметр("Наименование", НаименованиеДляПоиска);
РезультатПоиска = Запрос.Выполнить();
Если РезультатПоиска.Пустой() Тогда
Возврат ""
Иначе
Выборка = РезультатПоиска.Выбрать();
Выборка.Следующий();
Возврат Выборка.Имя
КонецЕсли;
КонецФункции
Показать |
Используем так:
Перем ВремяНачалаЗамера;
ВремяНачалаЗамера = 0;
Процедура модуля объекта документа ПередЗаписью
//Замер производительности инициализация
ИмяОперацииЗамераПроизводительности = ОбщегоНазначения.ИмяКлючевойОперацииЗамераПроизводительности(ЭтотОбъект, СтрЗаменить(Строка(РежимЗаписи), " ", ""));
ВремяНачалаЗамера = 0;
Если ЗначениеЗаполнено(ИмяОперацииЗамераПроизводительности) Тогда
ВремяНачалаЗамера = ОценкаПроизводительности.НачатьЗамерВремени();
КонецЕсли;
//Замер производительности инициализация
ПоказатьПроцедура ПриЗаписи
//Замер производительности фиксация
Если СтрНайти(ИмяОперацииЗамераПроизводительности, ".Запись") > 0 И ВремяНачалаЗамера <> 0 Тогда
ОценкаПроизводительности.ЗакончитьЗамерВремени(ИмяОперацииЗамераПроизводительности, ВремяНачалаЗамера, Товары.Количество(), "РТиУ " + Номер + " от " + Строка(Дата));
КонецЕсли;
//Замер производительности фиксация
ПоказатьПроцедура ОбработкаПроведения
//Замер производительности фиксация
Если ВремяНачалаЗамера <> 0 Тогда
ОценкаПроизводительности.ЗакончитьЗамерВремени(ИмяОперацииЗамераПроизводительности, ВремяНачалаЗамера, Товары.Количество(), "РТиУ " + Номер + " от " + Строка(Дата));
КонецЕсли;
//Замер производительности фиксация
ПоказатьВ справочнике "Ключевые операции" созданы элементы с наименованием:
Документ.РеализацияТоваровУслуг.Проведение
Документ.РеализацияТоваровУслуг.Запись
Аналогично для любых произвольных алгоритмов
ПроизвольныйАлгоритм.СформироватьПрайсЛист
Пометив на удаление или сняв пометку - можно управлять запуском замера (не запускать - запускать).
Кроме того, если договориться, что во все существующие механизмы таким образом встраивать инициализацию и фиксацию - получается очень удобно. Нужно сделать замер - создал ключевую операцию, не нужно - удалил.
Статья как минимум будет полезна тем кто решает - поможет ли им ОП или стоит рассмотреть альтернативные подходы.
Что касается технических деталей - то действительно - ОП в БСП можно докрутить, тут фантазия ограничивается лишь ресурсами для реализации задуманного. Как вариант можно прикрутить платформенные механизмы записи действий пользователей, в некоторых случаях это осуществимо достаточно просто. С каждой ситуацией нужно разбираться индивидуально и искать индивидуальные подходы. По мне так интересен подход использования интегральной оценки совместно с пооперационным apdex.
Что касается технических деталей - то действительно - ОП в БСП можно докрутить, тут фантазия ограничивается лишь ресурсами для реализации задуманного. Как вариант можно прикрутить платформенные механизмы записи действий пользователей, в некоторых случаях это осуществимо достаточно просто. С каждой ситуацией нужно разбираться индивидуально и искать индивидуальные подходы. По мне так интересен подход использования интегральной оценки совместно с пооперационным apdex.
Тоже никогда не любил апдекс.
Я или использую гугл аналитикс фиксируя изменения в базе, или использую гугл аналитикс по анализу лога действий пользователей.
Так как показывает практика, что я могу, например ускорить отчет, который пользователь открывает 100 раз день с 10 секунд, до 5 секунд, что приемлемо.
В этом случае апдекс мне скажет - что все кул, ты вырулил. НО НИФИГА!
Ибо некие одаренные личности, для проверки остатка товара открывают чек, пробивают товар, заходят в него, открывают из него отчеты - отчет по остаткам, выбирают размер в отборах и строят его.
Т.е. по факту - проверка товара на остатке занимает не 10 секунд, а 30-40, и на фоне этого - ускорив отчет на 5 секунд, профит будет не в 2 раза, а всего на 10%. А почему так делают люди, а потому что им предыдущие показали, что они так делали, и что тот отчет самый правильный, и не верьте отчету, который находится ПО БОЛЬШОЙ КНОПКЕ НА СТОЛЕ!
Хотя, принципиально - это один и тот же отчет. А не доверяли ему, так как когда то сохранили настройки в отборе левые, и все :)
Я просто к чему - все эти показатели, это что то из области фантастики, ибо мерять ими можно только те вещи, которые делаются теми людьми, которым разработчик может доверять, или полностью автоматизированные вещи, типо регламентов.
Я или использую гугл аналитикс фиксируя изменения в базе, или использую гугл аналитикс по анализу лога действий пользователей.
Так как показывает практика, что я могу, например ускорить отчет, который пользователь открывает 100 раз день с 10 секунд, до 5 секунд, что приемлемо.
В этом случае апдекс мне скажет - что все кул, ты вырулил. НО НИФИГА!
Ибо некие одаренные личности, для проверки остатка товара открывают чек, пробивают товар, заходят в него, открывают из него отчеты - отчет по остаткам, выбирают размер в отборах и строят его.
Т.е. по факту - проверка товара на остатке занимает не 10 секунд, а 30-40, и на фоне этого - ускорив отчет на 5 секунд, профит будет не в 2 раза, а всего на 10%. А почему так делают люди, а потому что им предыдущие показали, что они так делали, и что тот отчет самый правильный, и не верьте отчету, который находится ПО БОЛЬШОЙ КНОПКЕ НА СТОЛЕ!
Хотя, принципиально - это один и тот же отчет. А не доверяли ему, так как когда то сохранили настройки в отборе левые, и все :)
Я просто к чему - все эти показатели, это что то из области фантастики, ибо мерять ими можно только те вещи, которые делаются теми людьми, которым разработчик может доверять, или полностью автоматизированные вещи, типо регламентов.
(28) а для оценки качества чего?
Вы какую цель ставите - оценить нечто и как то, или сделать чтобы люди работали быстрее и "правильнее".
Если вы хотите просто что то замерять - то точно там же, в переходах на экранах, или в сценариях - вы делаете замер производительности.
Подключите себе тестовый аккаунт и посмотрите что можно сделать, а что нельзя. Вот где реальность, вот где процедура вывода отчета на экран может зависить от мощности компа, на котором крутиться тонкий клиент. И все это можно отследить, разделить и проанализировать.
Вы какую цель ставите - оценить нечто и как то, или сделать чтобы люди работали быстрее и "правильнее".
Если вы хотите просто что то замерять - то точно там же, в переходах на экранах, или в сценариях - вы делаете замер производительности.
Подключите себе тестовый аккаунт и посмотрите что можно сделать, а что нельзя. Вот где реальность, вот где процедура вывода отчета на экран может зависить от мощности компа, на котором крутиться тонкий клиент. И все это можно отследить, разделить и проанализировать.
Приведу пример когда APDEX не хватает для понятия ситуации:
целевое время проведения документа "Х" = 10 сек,
все замеры попали в интервал 10.2 - 10.5 сек - APDEX равен 0.5, что "неприемлемо",
но превышение целевого времени 200-500 мс на самом деле не является проблемой для пользователя,
если он согласен на 10 сек, то 10.5 сек не будут проблемой.
Поэтому мы еще смотрим среднее, минимальное и максимальное.
целевое время проведения документа "Х" = 10 сек,
все замеры попали в интервал 10.2 - 10.5 сек - APDEX равен 0.5, что "неприемлемо",
но превышение целевого времени 200-500 мс на самом деле не является проблемой для пользователя,
если он согласен на 10 сек, то 10.5 сек не будут проблемой.
Поэтому мы еще смотрим среднее, минимальное и максимальное.
Прикрепленные файлы:
- Алло! ИТ отдел? У нас жутко тормозит 1С, очередь уже на кассе.
- Что у вас тормозит конкретно. Что вы делаете?
- Ну реализацию проводим.
- Вот я смотрю по APDEX показатель 0,8. Это все очень хорошо. Что вы мне лапшу на уши вешаете идите работайте.
p.s. к сожалению усредненные данные порой показывают прекрасные результаты, а по факту у пользователей при некоторых неблагоприятных пересечений нагрузок действительно тормозит 1С.
- Что у вас тормозит конкретно. Что вы делаете?
- Ну реализацию проводим.
- Вот я смотрю по APDEX показатель 0,8. Это все очень хорошо. Что вы мне лапшу на уши вешаете идите работайте.
p.s. к сожалению усредненные данные порой показывают прекрасные результаты, а по факту у пользователей при некоторых неблагоприятных пересечений нагрузок действительно тормозит 1С.
(23)хотелось бы поддержать желание конкретики :) оцениваем укрупнено, а вот деталей не найти :( Заказ стоимостью мильон и 100 руб по любому будут разное время проводится. Но мы их усредним, и уже допустимый показатель....
Но если больной жалуется на боль, а мы ее не видим - это не компетенция больного, это наша ...
Но если больной жалуется на боль, а мы ее не видим - это не компетенция больного, это наша ...
Новые вопросы с вознаграждением
Автор темы объявил вознаграждение за найденный ответ, его получит тот, кто первый поможет автору.