Некачественные данные в каталогах товаров, закупаемых изделий, оборудования и материалов - частая "боль" промышленных и торговых предприятий. Обычно за годы работы компании в каталоге ТМЦ (товарно-материальных ценностей) накапливается большое количество не актуальных, дублирующих, плохо заполненных записей. Это препятствует получению качественной аналитики, мешает планированию складских запасов и закупкам. В таких случаях необходима нормализация, или очистка каталога ТМЦ, которая может выполняться как в ходе проекта по внедрению системы управления мастер-данными MDM, так и в качестве самостоятельной услуги.
Построение иерархии каталога. Атрибутный состав и шаблоны
Необходимо начать с создания эталонной структуры каталога ТМЦ. Для этого формируется методика моделирования: задается количество уровней каталога и описываются основания классификации товаров на каждом уровне. Можно делить товары по назначению, способу использования, применимости в тех или иных бизнес-процессах, функциональным и конструктивным характеристикам. Непротиворечивая и лаконичная иерархия поможет быстро находить нужные позиции каталога, уменьшит вероятность его засорения дублирующими и неверно классифицированными позициями.
Обычно один или два верхних уровня иерархии наши эксперты составляют вручную, а классы более низких уровней выделяются с помощью ML-моделей. Строятся кластеры (группы) товаров, которые ML-модель считает похожими. Затем по определенному алгоритму выполняется перебалансировка кластеров до тех пор, пока не будут достигнуты заданные значения смысловой схожести товаров внутри каждой группы. Полученный результат обрабатывает эксперт: подтверждает выделение классов, объединяет или разделяет некоторые из них, привязывает к классам верхнего уровня. И методика, и структура классификации обязательно согласуются с бизнес-подразделениями Заказчика.
Затем формируется атрибутный состав для каждой ветви классификатора: определяются свойства, которыми могут обладать товары тех или иных групп. На основе наборов свойств составляются шаблоны эталонного наименования товаров каждого класса.
Если у Заказчика есть готовая иерархия каталога ТМЦ, то задача упрощается - можно сразу переходить к обработке данных о товарах.
Нормализация наименований и характеристик товаров
Часто в каталогах ТМЦ в учетных системах не хранятся значения свойств товаров, либо хранится только небольшой их набор. Между тем, наличие значений свойств, специфичных для изделий разных классов (таких как Мощность, Объем, Напряжение и др.), в виде числовых или строковых значений в отдельных полях важно для поиска аналогов, взаимозаменяемых компонентов, поиска дубликатов, решения аналитических задач. Часто значения свойств товаров можно извлечь из наименования товарной позиции, либо найти в открытых источниках, таких как каталоги поставщиков. В ходе нормализации мы обрабатываем названия товаров средствами AI-моделей (без передачи в облачные сервисы), чтобы определить как можно больше характеристик каждого товара.
Кроме того, для каждого товара определяется его стандартное наименование и дополнительные не типизированные характеристики. Наименования и значения всех характеристик автоматически очищаются от лишних символов, приводятся к единому регистру, проверяются на чередование латинских и кириллических символов (например, можно не заметить английские буквы "а" или "о" в названии товара на кириллице). На основе очищенных значений затем формируется полное стандартное наименование товара в соответствии с шаблоном именования, заданным для класса, к которому он относится.
Обогащение данных
Часто данные надо дополнить недостающей информацией: определить класс для каждой позиции по внешним классификаторам (таким как ТН ВЭД или ОКТРУ), связать с кодом Национального каталога (NTIN) или кодами международных каталогов. Мы решаем такие задачи с использованием сочетания AI-моделей и правил, проверяемых экспертами. Это позволяет существенно сократить трудоемкость обогащения данных, обеспечив высокую достоверность полученных результатов.
Поиск и устранение дубликатов
После того, как данные нормализованы, с помощью автоматических правил выполняется поиск дубликатов - записей каталога ТМЦ, описывающих одну и ту же товарную позицию. Из каждой группы дубликатов формируется одна эталонная запись, при этом, если нужно, происходит слияние значений свойств изделия из нескольких карточек. Обычно в учетной системе остается активной только одна эталонная карта товара для каждой группы дубликатов, а все остальные помечаются как неактивные: можно списывать имеющиеся остатки по этим позициям, но нельзя проводить поступления новых товаров.
В некоторых случаях поиск дубликатов выполняется по нечетким правилам: в этом случае эксперт или AI-модель просматривает каждую группу дубликатов и определяет, действительно ли найденные позиции являются дублями, или просто описывают похожие товары (аналоги, замены). В последнем случае между карточками товаров можно сформировать связи, описывающие характер их отношений.
Результат нормализации
Результатом нормализации является очищенный каталог ТМЦ, где все товары отнесены к соответствующим группам иерархии в соответствии с понятными и зафиксированными критериями классификации, выделены значения их свойств, сформированы стандартные наименования ТМЦ по шаблонам, выполнено связывание со внешними источниками данных.
Для дальнейшей поддержки актуальности каталога мы рекомендуем вести его в системе управления мастер-данными MDM. MDM предоставляет инструменты для прохождения маршрутов согласования новых и измененных единиц товаров, автоматически классифицирует и нормализует новые позиции каталога, распространяет актуальные мастер-данные во все учетные и аналитические системы, связывает между собой записи об одном и том же товаре в разных источниках, позволяет централизованно вести вспомогательные справочники и классификаторы.
В результате бизнес получает качественные данные о ТМЦ, необходимые для построения сквозной аналитики и поддержки принятия решений в бизнес-процессах формирования запасов, планирования и осуществления закупок и продаж, ремонта и сервисного обслуживания.
Наша компания имеет опыт нормализации сложных каталогов ТМЦ для крупных промышленных предприятий. Обратитесь к нам, если перед вашей компанией стоит аналогичная задача - мы предложим варианты ее решения.
