Подход GraphRAG
Суть подхода GraphRAG состоит в использовании графа знаний для формирования контекста LLM при ответах на вопросы пользователя. Под термином GraphRAG мы здесь имеем в виду любые методы использования графов для формирования контекста в задачах question answering, а не конкретное решение от Microsoft. Граф знаний может выступать непосредственным источником для формирования контекста, и/или использоваться для аннотирования и поиска релевантных фрагментов текста. Это позволяет достичь большей полноты и фактологической точности ответов LLM, в сравнении со стандартными техниками RAG, основанными на поиске подходящих фрагментов текста при помощи сходства векторных эмбеддингов. Продвинутые техники включают также дополнение контекста логическими выводами, полученными на графе знаний, дополнение недостающих и исключение не релевантных или противоречащих друг другу фактов, пошаговое рассуждение на основе длинных цепочек фактов.
Используемые подходы можно по способу использования графов. Простейший подход состоит в представлении фрагментов текста (chunk'ов) как узлов графа, и установлению связей между ближайшими по смыслу фрагментами в графе. Более сложные подходы строят граф знаний, узлами в котором являются сущности и концепты, упоминаемые в проиндексированных текстах.
Граф знаний, содержащий описание объектов и концептов, выражение конкретных фактов, может дополнять графовое представление проиндексированных текстов, или использоваться как самостоятельное хранилище информации и источник формирования контекста для LLM.
Граф знаний может строиться в соответствии с определенной схемой (онтологией) или без нее. Если используется онтология, она может жестко задаваться разработчиком (для решений, работающих с ограниченной прикладной задачей), либо в полуавтоматическом режиме или полностью конструироваться ad-hoc на основе анализа текстов с помощью LLM. Онтология может включать только определения классов и свойств предметной области, содержать также уровень описания лексических концептов, соответствующих элементам описания предметной области, или включать также описания ограничений и правил логического вывода.
Де-факто стандартом для хранения графов знаний в решениях GraphRAG является Neo4j, поскольку эта СУБД совмещает функции графовой и векторной базы данных: поддерживает хранение и поиск подобных векторов по косинусному расстоянию. Neo4j не является хранилищем триплетов и не поддерживает язык SPARQL (хотя существуют плагины, позволяющие импортировать туда RDF-онтологии и транслировать SPARQL-запросы в Cypher). Эта техническая особенность является одной из причин того, почему OWL-онтологии не часто используются в решениях GraphRAG. Среди других причин можно назвать сложность автоматизированного конструирования OWL-онтологий и довольно высокий порог вхождения в стек семантических технологий для ИТ-специалистов. Между тем, использование OWL-онтологий открывает путь к интеграции знаний из различных предметных областей при формировании контекста, предоставляет инструменты для формальной верификации утверждений, расширяет возможности использования цепочек рассуждений при ответе на вопрос, и в целом позволяет максимально тесно интегрировать символьный и генеративный ИИ.
Обзор публикаций
Обзор методов и техник GraphRAG по состоянию на начало 2025 сделан в работах:
1. Q Zhang, S Chen, Y Bei, Z Yuan, H Zhou, Z Hong, J Dong, H Chen, Y Chang & X Huang (Jan 2025): A Survey of Graph Retrieval-Augmented Generation for Customized Large Language Models. URL: https://arxiv.org/pdf/2501.13958
2. H Han, Y Wang, H Shomer, K Guo, J Ding & Y Lei (Jan 2025): Retrieval-augmented Generation with Graphs (GraphRAG). URL: https://arxiv.org/pdf/2501.00309
3. P Jiang, S Ouyang, Y Jiao, M Zhong, R Tian & J Han (Aug 2025): Retrieval And Structuring Augmented Generation with Large Language Models. URL: https://dl.acm.org/doi/pdf/10.1145/3711896.3736557. В этом обзоре, вышедшем летом 2025 года, кратко рассматриваются некоторые основные элементы подхода GraphRAG, но для их обозначения используется термин Retrieval-And-Structuring (RAS).
Приведем обзор некоторых важных новых работ по теме GraphRAG за 2025, близких к теме наших разработок.
1. L Yao, F Ren, K Du & Q Du (04 Jul 2025): From knowledge graph construction to retrieval-augmented generation: a framework for comprehensive earthquake emergency support, Geo-spatial Information Science, DOI:10.1080/10095020.2025.2514813 URL: https://www.tandfonline.com/doi/pdf/10.1080/10095020.2025.2514813
В статье описывается фреймворк Improved HybridRAG, использующий граф знаний как один из методов поиска релевантного контента в базе знаний для формирования контекста, наряду с обычным поиском по схожести векторных эмбеддингов. Прикладная область применения описанного решения - поиск информации для поддержки принятия решений при реагировании на землетрясения. Авторы использовали вручную созданную онтологию, содержащую классы и свойства, описывающие:
- события и процессы, связанные с землетрясениями,
- используемые инструменты и методы измерения физических величин,
- процессы реагирования на природные события, включая их фазы, сценарии действий, используемые ресурсы и др.,
- методы прогнозирования последствий землетрясений, включая применимость каждого метода, необходимые исходные данные и получаемые результаты.
Затем с помощью LLM происходит извлечение информации из массива документов, и ее преобразование в структурированную форму в соответствии с онтологией. Решаются задачи, типичные для такого рода процессов, включая разрешение ко-референсов и идентификацию сущностей. Фрагменты онтологии включаются в промпты LLM, чтобы сделать результаты ее работы как можно более однородными.
На третьем шаге строятся отношения между извлеченными сущностями, например связи между сейсмическими событиями и методами измерения, или мерами реагирования и конкретными сценариями действий.
Далее происходит слияние (fusion) всей полученной информации, с целью связать ее в единый, как можно более непротиворечивый граф. Вычисляется эмбеддинг для каждого типа отношений, затем отношения группируются методом спектральной кластеризации, после чего каждый кластер суммаризируется и обобщается с помощью LLM. Результатом является унифицированное определение каждого типа отношений внутри кластера - это нужно для объединения близких по смыслу отношений, таких как "является частью" и "входит в состав". Далее сливаются индивидуальные объекты на основе как логических правил, так и векторных эмбеддингов. В более сложных случаях для слияния индивидов используются эмбеддинги, полученные на основе значений атрибутов и соседей каждого индивида. Метод HDBSCAN (Hierarchical Density-Based Spatial Clustering) используется для формирования кластеров индивидов, после чего с помощью LLM для каждой пары индивидов в кластере принимается решение о том, описывают ли они одну или разные сущности реального мира.
При формировании контекста из запроса пользователя извлекаются ключевые концепты, для каждого из которых определяются элементы графа знаний, имеющие похожие эмбеддинги. Затем из графа выделяются окрестности этих элементов, достаточные для формирования осмысленного контекста с учетом специфики области применения. Построенные подграфы преобразуются в текстовый промпт и подаются в LLM в качестве контекста, используемого при ответе на вопрос пользователя.
Оценка результатов показывает более высокое качество ответов LLM в сравнении с другими стратегиями формирования контекста, особенно заметное в части фактологической точности ответов.
2. A Kaisera, C Leoveanu-Condreia, R Golda, M Dinua & M Hofmarcher (23 Jul 2025): HyDRA: A Hybrid-Driven Reasoning Architecture for Verifiable Knowledge Graphs. URL: https://arxiv.org/abs/2507.15917
Предложенный авторами фреймворк HyDRA предназначен для автоматизированного конструирования концептуального уровня онтологии и наполнения графа знаний фактологической информацией. Авторы реконструируют некоторые шаги обычной методики ручного создания онтологий с помощью взаимодействующих ИИ-агентов. Путем "достижения консенсуса" между ИИ-агентами выявляются стейкхолдеры и другие субъекты, заинтересованные в использовании онтологии. Формулируются Competency questions - вопросы, которые помогают уточнить границы создаваемой онтологии и требования к ней, и т.д.
Предлагаются также способы верификации построенной онтологии, основанные на проверке структурных и функциональных требований к онтологическим моделям.
Новизна подхода состоит в том, что конструирование онтологии рассматривается не просто как генеративная задача, а как итеративный процесс, построенный по принципам Design-by-Contract - только участниками этого процесса являются не люди, а ИИ-агенты. Для каждого шага процесса определены четкие требования, выполнение которых автоматически контролируется при исполнении процесса. При нарушении требований механизм обратной связи заставляет ИИ корректировать результат до тех пор, пока он не станет соответствовать требованиям.
Важно, что авторы этой работы стремятся к генерации OWL-DL онтологии, а не просто концептуальной схемы, формализованной произвольным образом через задание набора типов сущностей и связей, как это часто делается в других подходах. Содержание OWL-DL онтологии гораздо богаче обычной концептуальной схемы, так как включает утверждения о характеристиках и взаимосвязях свойств и классов, ограничения и т.д.
3. M Banf, J Kuhn (28 Apr 2025): A Tripartite Perspective on GraphRAG. URL: https://arxiv.org/pdf/2504.19667v1
В работе предлагается способ конструирования графа знаний, связывающего три типа элементов: объекты предметной области, упоминаемые в тексте, концепты, используемые для формулирования высказываний об объектах, и собственно части текста, откуда извлекается информация. Из каждого фрагмента текста авторы извлекают высказывания, касающиеся определенного объекта и/или концепта, и сохраняют их вместе с векторным эмбеддингом как свойства отношения между объектом или концептом и текстом, в котором он упоминается. Это позволяет сократить объем формируемого контекста при запросе к LLM, выделяя из каждого chunk'а только факты, непосредственно относящиеся к объектам и концептам, релевантным запросу.
В этом подходе отсутствует шаг генерации формальной онтологии - вместо нее используется набор лексических концептов, обнаруженных в обрабатываемых текстах.
При создании контекста в него включаются фрагменты текста, сохраненные во всех отношениях объекта(-ов), идентифицированного в запросе пользователя, а также информация из других упоминаний тех же концептов в текстах, фильтруемые по метрике семантического сходства.
4. Y Tiwari, O Lone, M Pal (31 May 2025): OntoRAG: Enhancing Question-Answering through Automated Ontology Derivation from Unstructured Knowledge Bases. URL: https://arxiv.org/pdf/2506.00664v1
В работе предлагается еще один вариант подхода к автоматизированному формированию концептуального уровня онтологической модели для использования в задачах GraphRAG. Для выделения классов используются алгоритмы кластеризации, в частности K-means и алгоритм Лейдена. Для определения семантической близости элементов модели, в частности для отнесения индивидов к классам, используется семантическое сходство между эмбеддингами, отражающими название и описание каждого элемента. Подход следует "снизу вверх": сначала выделяет упоминаемые в текстах сущности, затем разбивает их на классы, обобщает отношения между конкретными сущностями в типы возможных отношений между объектами классов. Верификацию онтологии осуществляет аналитик.
Упомянем еще несколько работ, интересных для нас в определенных аспектах.
5. C Ma, S Chakrabarti, A Khan, B Molnar (Jan 2025): Knowledge Graph-based Retrieval-Augmented Generation for Schema Matching. URL: https://arxiv.org/pdf/2501.08686
В работе предлагается алгоритм сопоставления "схем" (концептуального уровня онтологических моделей) для интеграции данных из различных графов знаний в задачах GraphRAG. Этот алгоритм полезен для обогащения контекста информацией из внешних источников данных, включая доступные большие графы знаний, такие как Wikidata.
6. K Sharma, P Kumar & Y Li (Dec 2024): OG-RAG: Ontology-Grounded Retrieval-Augmented Generation For Large Language Models. URL: https://arxiv.org/pdf/2412.15235
Авторы используют LLM для извлечения из текста фактов о конкретных сущностях, используя заранее заданную доменную онтологию.
7. S Toro, A Anagnostopoulos, S Bello et al. Dynamic Retrieval Augmented Generation of Ontologies using Artificial Intelligence (DRAGON-AI). J Biomed Semant 15, 19 (2024). https://doi.org/10.1186/s13326-024-00320-3
В работе предлагается DRAGON-AI, метод использования LLM для полуавтоматической генерации онтологий. Метод добавляет в промпт в качестве образца структурированных описание элементов онтологии, похожих на тот, который необходимо описать, а также контекстную информацию, описывающую интересующий пользователя элемент. LLM генерирует в соответствии с шаблоном описание требуемого элемента, которое затем валидируется.
8. M. Ahmad (May 2025): Towards a Unified Framework for Information Retrieval in Large Language Model Applications: Balancing Textual and Graph-Based Knowledge Sources. URL: https://aaltodoc.aalto.fi/server/api/core/bitstreams/8ba53084-d1eb-4839-b874-f5aa23f5ee99/content.
В магистерской диссертации приводится практический пример реализации GraphRAG.
