пятница, 27 мая 2011 г.

Количество без качества. Оценка частных показателей по 2 шкалам.

В методике оценки расписана качественная оценка частных показателей ИБ. Две шкалы: степень документированности требования и степень выполнения. Причем выполнение оценивается весомей, чем степень документированности, что, в общем, правильно. 

Рассмотрим подробней...

При оценке частных показателей, руководствоваться нам с Вами необходимо именно качественной шкалой, однако отмечать в Приложении А придется количественно: столбцы разделены по оценкам 0; 0,25; 0,5; 0,75 и 1

Как видно из рисунка, уникальностью обладают только 2 оценки - 0,75 и 1. Остальные же допускают двоякое толкование:

0,5 - два крайних положения на шкале: либо требование полностью документировано, либо не документировано вообще! Выполнение от полного до частичного.
0,25 - так же, только выполнение от никакого до частичного. 

Чем это нам грозит? В главную очередь, сложностями при последующем анализе. Учитывая сложность в фиксации свидетельств аудита и большой объем подобных работ (команда из 3-4 аудиторов занимается фиксацией свидетельств аудита 2 месяца. 1000 человеко-часов работы), основной анализ результатов самооценки будет проводится по Приложению А (таблица, в которой столбцы отражают количественную оценку частных показателей). А значит ситуация, в которой придется ломать голову что же "провалили" - выполнение или требование? - будет возникать постоянно. 
Через год или два встанет вопрос о повторной самооценке, и тогда может оказаться, что сотрудник, проводивший самооценку, больше не работает в банке. Понять, что он имел ввиду по оценке "0,25", учитывая 3 возможных абсолютно разных ситуации, может быть проблематично.
Есть ли выход? Да. фиксировать качественную оценку по двум шкалам, оставив математику - программе. Именно так и построен BSAT - единственное приложение на сегодняшний день, которое поддерживает качественную оценку показателей ИБ.

Бесплатная демоверсия доступна здесь.

10 комментариев:

  1. Вообще было бы отлично если бы система всячески помогала оценивать показатели.

    Например для хорошо если бы для оценки конкретного показателя был бы приведен типовой документ, который нужно проверять, типовой вопрос который нужно задавать, объект который нужно осматривать.

    Желательно чтобы программа на основе всего предлагала оценщику уже скомпонованные опросные листы, перечни документов для сбора, объекты и характеристики которые необходимо осмотреть.

    ОтветитьУдалить
  2. и за что тогда платить аудиторам? :)

    Цена аудита сейчас - 1-3 млн. руб.
    Если BSAT научится все это делать, то цена на него будет в 10 раз больше сегодняшней.

    ОтветитьУдалить
  3. Аудиторы рутины тоже не любят и всячески стараются автоматизировать её.

    ОтветитьУдалить
  4. А больше всего аудиторы любят экономить на софте, покупая фигню, которой пользоваться невозможно, но зато дешево!

    Аудиторы готовы выложить 500 тыщ за описанный функционал?

    ОтветитьУдалить
  5. Согласен с Сергеем по поводу расширенного функционала софта по оценке соответствия. При всем том хорошем, что есть в BSAT (простота, красивые диаграммы, та же фиксация оценок по документированию и выполнению), в этом ПО очень МАЛО автоматизации деятельности.

    Например, то же Приложение В - вот добавили его учет в новой версии, но по факту все свелось просто к появлению всплывающих подсказок с перечнями уточняющих вопросов к частному показателю и ничего нового, по сравнению с тем же софтом Пацифики, не появилось. Хотя в той же системе Кристала автоматический учет влияния уточняющих вопросов на частный показатель есть, пусть и не совсем корректный.

    В мануале же вы описали правильный алгоритм и математику учета этих уточняющих вопросов на частные показатели, так почему же не реализовали в программе? Неужели так сложно?

    А цена на софт из-за этих подсказок сразу подскочила в два раза.

    Печаль...

    ОтветитьУдалить
  6. С приложением В в BSAT было много дискуссий. текущий вариант реализации был выбран из-за того, что вопросы Прилжения В мало согласуются по смыслу с требованиями частного показателя ( а зачастую и вовсе мимо). Поэтому вопросы приобрели "справочный характер". Что по нашему мнению и является самым оптимальным способом работы с ними.
    BSAT самый дешевый на сегодняшний день продукт на рынке. В данный момент мы готовим массу улучшений в версию 1.2.

    ОтветитьУдалить
  7. А можно поподробнее насчет версии 1.2 - какие именно улучшения там будут?

    ОтветитьУдалить
  8. В версии 1.2 будет добавлена фиксация свидетельств аудита. Мы потратили много времени чтобы сделать все просто и удобно. Будет добавлен еще один отчетный документ - приложение Б методики (вывод свидетельств аудита).
    Будет и еще ряд новшеств, но это - основное.

    ОтветитьУдалить
  9. Только что с обучения по аудиту ИБ
    http://sborisov.blogspot.com/2011/07/blog-post.html

    И там товарищи эксперты прояснили, что использование вопросов из приложения В является обязательным для расчета (EVM1, …, EVM5, EVM8, EVM10). Для расчета остальных показателей - рекомендуется но не обязательно учитывать эти уточняющие вопросы.

    ОтветитьУдалить
  10. Это мнение было у них всегда, только они так и не смогли объяснить мне зачем в таком случае нужен 10 ув, который влияет исключительно на чп в гп > 10 (т.е. По их логике он тут просто так)

    ОтветитьУдалить