Функции управления качеством данных в DataVera EKG Platform включают форматно-логический контроль и нормализацию данных.
Возможности форматно-логического контроля и контроля целостности
Правила форматно-логического контроля и контроля целостности формулируются в модели с помощью ограничений SHACL Constraints. Эти правила хранятся в данных платформы, и могут быть отредактированы через интерфейс EKG Explorer. Каждое из них описывает определенные условия, которым должны соответствовать объекты какого-либо класса. Условия правил могут:
- Сравнивать значения свойств одного объекта или нескольких связанных объектов. Например, можно проверить, что дата рождения человека или дата выдачи документа находится в определенном диапазоне.
- Выполнять операции над строковыми значениями – извлекать и соединять части строк, сравнивать их между собой. Например, первые 6 символов ИИН должны соответствовать году, месяцу и дню рождения.
- Использовать регулярные выражения для проверки соответствия шаблону. Так, можно проверить, что ИИН состоит из 12 цифр.
- Использовать встроенные функции платформы для выполнения специальных видов проверок. С помощью одной из таких функций можно проверить соответствие седьмого символа ИИН полу и веку рождения человека.
- Проверять наличие дублей объектов по совпадению определенных свойств. Например, правило может проверить, что в системе отсутствует другая персона с таким же ИИН, или другой документ с таким же номером и датой.
Использование инструментов контроля качества данных
Правила применяются автоматически в момент создания или редактирования объектов. Также можно вызвать применение правил для группы объектов вручную. В интерфейсе EKG Explorer подсвечиваются красным ячейки таблицы, значения в которых нарушают условия правил. При наведении на такую ячейку отображается текст сообщения об ошибке. Также нарушения можно просмотреть в карточке объекта.
Над списком объектов в EKG Explorer расположен монитор качества данных, который отображает сведения о количестве объектов с нарушениями и без них. Нажатие на этот индикатор фильтрует список так, чтобы в нем остались только объекты, нарушающие условия правил. В таком режиме инженер по качеству данных может просмотреть все объекты, требующие внимания, и устранить ошибки.
Для проверки выполнения контрольных соотношений можно использовать механизм функций SHACL. Он позволяет определить арифметические функции, результаты которых можно использовать в условиях ограничений. Например, пусть необходимо проверить, что значение цены товара с НДС равно цене без НДС плюс 12%. Сначала определим функцию, которая увеличит значение переданного ей аргумента на 12%. Затем используем эту функцию в правиле. Для этого нужно привязать результат выполнения функции к переменной, с которой сравнивается значение одного из свойств объекта данных.
Нормализация и автоматическая очистка данных
Функции нормализации данных также определяются в модели и применяются в момент создания или редактирования объекта. Каждая функция описывает правило, по которому из исходного значения свойства получается нормализованное. Например, функция нормализации может с помощью регулярного выражения удалить пробелы, оставить только цифры в номере телефона, или разделить значения, перечисленные через запятую в одной строке. Результат работы функции нормализации записывается в значения другого свойства, которое не может быть отредактировано напрямую. Например, в запросе к платформе указывается номер телефона в свойстве «Телефон», а результат нормализации сохраняется в свойстве «Телефон нормализованный».
С помощью рассмотренных инструментов DataVera EKG Platform в организации можно наладить бизнес-процессы постоянного контроля и улучшения качества данных.
