Задача нормализации каталога номенклатуры
Слабо структурированный, засоренный дублями каталог закупаемых изделий – проблема, часто встречающаяся у производственных компаний. Отсутствие качественных данных об оборудовании, запчастях и материалах может приводить к ошибкам при формировании складских запасов, выбору не оптимальных предложений поставщиков, невозможности построить аналитику для принятия управленческих решений.
Система управления мастер-данными решает задачи формирования эталонного каталога изделий и обмена сведениями о них между корпоративными системами.
Инструменты искусственного интеллекта в составе DataVera EKG Platform автоматизируют задачи очистки и структурирования каталога товаров.
Группировка и создание классов
Первая фаза обработки состоит в том, чтобы разбить изделия на группы с помощью инструментов машинного обучения. Это непростая задача: нам нужно, чтобы товары попадали в разные группы, даже если в их названиях много совпадающих слов. Так, светильник и лампа для светильника должны попасть в разные категории, несмотря на общую часть названия.
Мы достигаем этого при помощи особого алгоритма вычисления смысловой близости наименований.
Следующий шаг – сформировать классы изделий на основе групп товаров. На этой стадии мы еще раз оцениваем близость всех товаров каждой группы, сливаем или разделяем некоторые из них, переносим некоторые товары в более подходящие категории.
Чтобы завершить формирование иерархии классов, мы добавляем надклассы для полученных групп. Дерево классов готово – наш каталог стал упорядоченным!
Определение свойств изделий
Затем нужно определить, значения каких свойств можно извлечь из маркировки товаров. Это могут быть физические характеристики, например сила тока или напряжение, или качественные описания – такие как цвет или вариант исполнения. Алгоритм строит общий список свойств, а затем определяет, какими свойствами могут обладать изделия каждого класса. На этом этапе мы получаем законченную концептуальную модель нашего каталога, которая содержит описание групп товаров и наборы их свойств.
Далее мы проходим по всему списку товаров, чтобы определить значения свойств для каждого из них. Извлекать значения можно как из текстовых свойств товара, например его маркировки или описания, так и из отдельных документов - например, паспорта изделия или опросного листа. На этом этапе также определяется процент заполнения значений свойств и другие метрики качества данных.
Для каждого класса товаров можно настроить собственный шаблон, в соответствии с которым будет сгенерировано его название или маркировка. Эталонные названия и маркировки могут включать значения характеристик или их коды. Функция автоматического формирования маркировки позволяет добиться единообразия в обозначениях всех товаров определеных категорий.
Поиск от дубликатов и использование каталога
Последний этап обработки – поиск возможных дубликатов. Алгоритм нечеткого поиска определяет, какие позиции каталога могут быть эквивалентами друг друга. Дубликаты могут возникать из-за опечаток, сокращений в названиях, а также из-за указания или пропуска значений определенных характеристик в маркировке.
Подготовленный каталог записывается в MDM-систему. Теперь задача специалиста по работе с данными – проверить корректность его заполнения и подтвердить или отменить слияние дубликатов.
Каталог готов! Теперь MDM может синхронизировать его с корпоративными системами, в которых ведется складской учет, закупочная деятельность, происходит управление ремонтами и обслуживанием. MDM сохранит код каждого товара из каждой системы, чтобы не нарушать структуру данных в них, если это необходимо. При появлении новых позиций номенклатуры можно ввести их на стороне одной из систем и распространить в другие приложения с помощью MDM, либо занести в MDM централизованно.
Когда задача создания эталонного каталога решена, можно перейти к следующим шагам роботизации бизнес-процессов с помощью ИИ. Можно наладить автоматическую обработку технических спецификаций на закупку, проверку соответствия спецификациям предложений поставщиков, поиск аналогов товаров, извлечение информации об изделиях из каталогов производителей.
