온톨로지의 원형 - 지식그래프는 어떤형태로 임베딩할까

과거 2023년 당시 널리 퍼진 이야기가 하나 있었다.

출처: https://en.wikipedia.org/wiki/Ontology_%28information_science%29

"컨텍스트 윈도우가 충분히 커지면 RAG는 사라진다." 논리는 단순했다. 문서 전체를 프롬프트에 밀어 넣을 수 있다면 굳이 잘게 쪼개고 임베딩하고 검색할 이유가 없다는 것이다. 지식그래프에 대한 전망은 더 냉정했다. 온톨로지를 설계하고 엔티티를 정규화하는 수작업은 통계적 학습이 해결해버릴, 낡은 시맨틱 웹 시대의 유물처럼 보였다.

3년이 지난 2026년, 예언은 절반만 맞았다. 컨텍스트 윈도우는 실제로 폭발적으로 커졌고 모델의 추론 능력도 비교할 수 없이 좋아졌다. 그런데 그래프는 사라지지 않았다. 오히려 엔터프라이즈 AI 아키텍처의 아래로 깔리게 되었다.

올해 5월 열린 Knowledge Graph Conference 2026의 참관기 중 이런일이 있었다. 프로덕션 환경에서 "모델의 한계"나 "프롬프트 엔지니어링 실패"로 분류되던 이야기 대부분이 실은 언어의 representation의 실패였다는 것이다. 그래프는 LLM의 대안도, 머신러닝의 대체재도 아니다. LLM은 제한된 컨텍스트 안에서 잘하는 일을 하고, 그래프는 컨텍스트 사이를 연결하는 일을 한다. 이 분담이 하나의 관용구처럼 굳어지는 느낌이 있다.

1. 2024년의 열풍, 2025년에도 ?

마이크로소프트 리서치가 2024년 초 GraphRAG를 발표하고 그해 7월 오픈소스로 공개했을 때, 이 기법은 순식간에 LLM–지식그래프 결합의 레퍼런스 아키텍처가 됐다. 구조 자체는 우아하다. 비정형 텍스트에서 LLM으로 엔티티와 관계를 추출해 그래프를 만들고, 커뮤니티 탐지 알고리즘으로 엔티티를 주제 군집으로 묶은 뒤, 각 커뮤니티의 요약문을 미리 생성해 둔다. 질의가 들어오면 개별 엔티티 수준의 질문과 코퍼스 전체 수준의 질문 양쪽에 답할 수 있다. 기존 벡터 RAG가 손도 못 대던 "이 문서 집합의 주요 테마는 무엇인가" 같은 전역 요약 질의가 갑자기 풀리기 시작했다.

그리고 뭔가 큰일이 일어났다. 대규모 데이터셋 인덱싱에 3만 3천 달러가 들었다는 사례 가 업계에 돌면서 분위기가 바뀌었다. LLM에게 코퍼스 전체를 훑으며 엔티티와 관계를 추출시키는 오프라인 인덱싱은 결코 싸지 않다. 게다가 벤치마크 결과도 처음 기대만큼 일방적이지 않았다.

2025년에 나온 체계적 비교 연구(arXiv:2502.11371)는 커뮤니티 기반 GraphRAG를, 특히 글로벌 서치 모드에서, 일반 RAG보다 못한 성능으로 보고했다. 원 논문과 결과가 갈린 이유는 명확했다. 마이크로소프트는 전역 요약 과제를 LLM-as-a-Judge로 평가했고, 후속 연구는 특정 인물·사건을 겨냥한 질의를 사람이 작성한 정답과 ROUGE·BERTScore로 비교했다. 평가 설계가 결론을 만들었다.

2. GraphRAG-Bench

이 논란을 정리한 것이 ICLR 2026에 채택된 GraphRAG-Bench다. 논문의 질문 자체가 정확했다.

"GraphRAG가 정말 효과적인가, 그리고 어떤 시나리오에서 그래프 구조가 측정 가능한 이득을 주는가."

패턴은 명료하다. 질문의 추론 깊이가 깊어질수록 그래프의 우위가 커지고, 고립된 단일 사실에 대해서는 텍스트 청크가 버틴다. "3페이지에 적힌 전화번호가 뭐지"라는 질문에 그래프를 물리면, 필요 없는 인덱싱 비용만 지불한 것이다.

여기서 실무적 함의가 나온다. 2026년의 올바른 질문은 "무엇을 그래프로 만들 것인가"가 아니라 **"어떤 질문이 그래프를 필요로 하는가"**다. 그리고 그 판단을 파이프라인 안에서 자동으로 내리게 만드는 것이 다음 과제다. 실제로 ICLR 2026에는 관계 추출을 생략해 구축 비용을 낮춘 LinearRAG가, AAAI 2026에는 사전 구축된 그래프 없이 적응적 추론 구조를 쓰는 접근이 함께 올라왔다. 학계의 관심축은 이미 "그래프가 좋은가"에서 "얼마나 싸게, 얼마나 선별적으로 쓸 것인가"로 옮겨갔다.

도메인이 좁고 관계가 조밀할수록 이득은 확실해진다. ORAN 표준 문서를 대상으로 한 비교 실험에서 Hybrid GraphRAG는 사실 정확도를 8%, GraphRAG는 맥락 적합성을 11% 끌어올렸다. 반대로 FAQ성 질의가 대부분인 서비스에 그래프를 얹는 것은 거의 언제나 손해다.

3. 진짜 변곡점: 검색(Retrieval)에서 기억(Memory)으로

그런데 GraphRAG 논쟁에만 시선을 두면 2026년의 더 중요한 이동을 놓친다. 지식그래프의 무게중심은 문서 검색에서 에이전트 기억으로 옮겨가고 있다.

이유는 에이전트의 작동 방식에 있다. 챗봇은 한 번의 질의에 한 번 답하면 끝나지만, 에이전트는 세션을 넘어 상태를 유지해야 한다. 지난주에 무엇을 결정했는지, 고객의 선호가 언제 바뀌었는지, 이 수치가 재계산되기 전 값은 무엇이었는지를 알아야 한다. 유한한 컨텍스트 윈도우로는 원리적으로 감당할 수 없는 요구다.

여기서 결정적인 개념이 **시간성 지식그래프(Temporal Knowledge Graph)**다. Zep의 엔진 Graphiti는 사실을 노드로 저장하되 각 사실에 유효 시작·종료 구간을 붙인다. "이 고객은 A 제품을 선호한다"가 아니라 "이 고객은 2026년 3월 시점에 A 제품을 선호했다"로 저장된다. 사실이 문자열이 아니라 시간 경계를 가진 명제가 되는 것이다.

차이는 질의 유형에서 드러난다. "가격 정책 변경 이후 이 고객의 행동은 어떻게 달라졌는가", "재무팀이 산식을 고치기 전 매출 지표는 얼마였는가" 같은 질문에서, 평면적 벡터 스토어는 가장 최근이거나 가장 유사한 항목을 돌려준다. 시간 그래프는 질의가 지목한 시점에 유효했던 사실을 돌려준다. 에이전트에게 필요한 것은 후자다.

성능 면에서도 이 접근은 낭만적 제안에 머물지 않는다. Zep은 MemGPT가 자사 기준으로 세운 DMR 벤치마크에서 94.8% 대 93.4%로 앞섰고, Graphiti는 질의 시점에 LLM 호출을 전혀 하지 않는 하이브리드 검색(시맨틱 임베딩 + BM25 + 그래프 순회)으로 P95 지연 300ms를 달성했다. 마이크로소프트 GraphRAG가 질의마다 커뮤니티별 부분 응답을 생성하고 병합하느라 다수의 LLM 호출을 쓰는 것과 정반대의 설계 철학이다. 인덱싱 시점에 비용을 지불하고 질의 시점에는 지불하지 않는다.

에피소딕(과거 상호작용), 시맨틱(사실과 선호), 프로시저럴(학습된 규칙)이라는 세 가지 기억 범위가 업계 표준으로 자리잡은 것도 2026년의 일이다. Mem0, A-MEM, G-Memory 등 경쟁 프레임워크가 쏟아지는 가운데, 그래프를 "추출된 사실의 영구 저장소"가 아니라 스스로 진화하는 기억 기질로 다루자는 방향에 합의가 형성되고 있다.

4. 화살표의 역전: 이제 LLM이 그래프를 만든다

지식그래프의 오랜 병목은 구축 비용이었다. 온톨로지 설계, 엔티티 정규화, 관계 스키마 정의는 도메인 전문가와 지식공학자의 노동집약적 작업이었고, 이것이 지난 20년간 시맨틱 웹 진영의 확산을 가로막았다.

LLM이 그 병목을 깨고 있다. LLM 기반 지식그래프 구축은 이제 독립된 연구 분야가 됐고(Text2KG 워크숍은 올해 5회째다), 강화학습으로 엔드투엔드 그래프 구축을 학습시키는 AutoGraph-R1, 중국어 정책 문서에서 경량 KG를 뽑아내는 DocPolicyKG 같은 작업이 이어진다. 온톨로지 학습 방식이 최종 RAG 성능에 미치는 영향을 정량 비교한 연구도 나왔다.

여기서 자기강화 루프가 성립한다. LLM이 그래프를 만들고, 그 그래프가 LLM을 근거 위에 올려놓고, 근거가 강화된 LLM이 더 나은 그래프를 만든다. 2024년에는 "LLM에 그래프를 붙인다"가 문제 설정이었다면, 지금은 두 방향이 동시에 흐르는 순환 구조를 어떻게 운영할 것인가가 문제다.

5. 한국 시장에 주는 함의

국내 논의는 아직 모델 선택과 프롬프트에 지나치게 기울어 있다. 그러나 실제 도입 현장에서 발목을 잡는 것은 대개 표현 문제다.

보안 분야의 S2W는 이 지점을 정면으로 지적한다. 이 회사는 네트워크 이벤트, 정책 변화, 시스템 상태를 지식그래프로 모델링해 사건 간 관계를 표현하고 공격의 출발점을 식별하는 구조를 택했다. 블랙박스 상태를 벗어나기 위해 도메인 온톨로지와 추론 엔진을 총동원한 결과다. 이 회사 CTO는 사업 확장 대상을 이커머스·제조·보험으로 넓히는 근거로, 사실상 모든 산업에서 설명 가능한 AI 에이전트를 만들려면 온톨로지가 필수라는 점을 든다.

규제 산업에서는 이것이 선택이 아니라 요건이 된다. 의료 AI 영역에서는 이미 생의학 온톨로지와 임상 워크플로 기반으로 조정된 도메인 특화 모델이 안전성과 관련성에서 범용 모델을 앞선다는 결과가 축적되고 있고, 데이터 출처와 설명 가능성은 컴플라이언스 체크리스트가 아니라 아키텍처의 일부로 편입되는 중이다. 금융과 법률도 같은 궤도를 따를 가능성이 높다.

한국어 도메인에는 추가 변수가 있다. 교착어의 형태소 처리, 조사에 따른 개체명 경계 모호성, 한자어 동형이의어, 법령·행정 문서 특유의 중첩 참조 구조는 영어 기준으로 튜닝된 엔티티 추출 파이프라인이 그대로 작동하지 않는 영역이다. 다국어 GraphRAG(EMNLP 2025의 MaGiX 등)나 정책 문서 KG 구축 연구가 중국어권에서 먼저 나오고 있다는 사실은, 한국어 도메인 특화 그래프 구축이 선행연구 밀도가 낮은 공백이라는 뜻이기도 하다. 실무 기회이자 연구 기회다.

6. 그래서, 지금 무엇을 물어야 하는가

도입을 검토하는 조직이라면 벤더 데모보다 먼저 다음 세 가지를 자문하는 편이 낫다.

첫째, 우리 사용자의 질문은 몇 홉짜리인가. 로그를 열어 실제 질의를 100건만 분류해보라. "규정 몇 조에 뭐라고 쓰여 있나" 유형이 8할이면 벡터 검색과 리랭커로 충분하다. "A 부서 결정이 B 프로젝트 일정에 어떤 영향을 줬나" 유형이 상당수라면 그래프가 답이다. 이 분류는 하루면 끝나고, 6개월치 아키텍처 시행착오를 막아준다.

둘째, 시간이 답을 바꾸는가. 조직의 사실 중 상당수는 유효기간이 있다. 조직도, 가격 정책, 규정, 계약 조건이 그렇다. 감사 대응이나 사후 검증에서 "그 시점에 무엇이 참이었는가"를 물어야 한다면, 평면적 벡터 스토어는 처음부터 잘못된 도구다.

셋째, 오답의 비용은 얼마인가. 벡터 RAG의 실패 신호는 미묘하다. 시스템은 정상 작동하고, LLM은 답을 내놓으며, 검색된 맥락이 그럴듯하지만 틀렸다는 사실은 꼼꼼히 들여다봐야 드러난다. 마케팅 문구 초안에서는 감당할 수 있는 오류지만, 약물 상호작용이나 여신 심사에서는 그렇지 않다.

마치며

지식그래프는 마법도 아니고 사기도 아니다. 특정 문제를 겨냥한 정밀 도구다. 흩어진 사실을 연결하거나 코퍼스 전체를 종합해야 하는 질문을 주면 텍스트 청크를 결정적으로 이긴다. 단순 조회를 주면 쓰지 않아도 될 돈을 쓴 것이 된다.

2026년에 그래프로 성과를 내는 조직은 모든 것을 그래프로 만든 조직이 아니라, 어떤 질문이 그래프를 필요로 하는지 아는 조직일 것이다. 그리고 그 판단의 출발점은 모델 스펙 시트가 아니라, 자기 조직의 지식이 실제로 어떤 모양을 하고 있는지에 대한 정직한 진단이다.

레버리지는 프롬프트가 아니라 표현에 있다.

이 글은 GraphRAG-Bench(ICLR 2026), RAG vs. GraphRAG 체계적 평가(arXiv:2502.11371), Zep/Graphiti 아키텍처 논문(arXiv:2501.13956), LLM 기반 KG 구축 서베이(arXiv:2510.20345), Knowledge Graph Conference 2026 참관기, S2W 인터뷰(AI타임스, 2026.05) 등을 참고해 작성했다.