데이터 변해도 정확한 검색, KAIST가 개발한 기술
AI가 최신 정보를 놓치지 않도록 연결망을 유지하는 'CONDA' 기술
한눈에 보기
- KAIST 김민수 교수팀이 데이터가 지속적으로 추가되고 삭제되는 환경에서도 검색 정확도를 높게 유지하는 ‘CONDA’ 기술을 개발했으며, 이는 생성형 AI가 학습 후 새로운 정보를 인지하지 못하는 문제를 해결하기 위해 설계됐다. 특히 1억 개의 데이터가 존재하는 대규모 시스템에서 6시간 동안 검색과 데이터 업데이트를 병행한 실험에서도 기존 기술 대비 최대 24.5% 높은 정확도와 최대 1.90배 빠른 처리 속도를 기록했다.
- 이로 인해 새로운 데이터가 추가되거나 기존 데이터가 삭제되더라도 중요한 연결이 끊기지 않아 정보가 고립되는 것을 방지하며, 실제 업무 문서나 뉴스 기사처럼 자주 변하는 정보 환경에서도 AI가 정확한 자료를 빠르게 찾아낼 수 있도록 한다.
- 연구팀은 RAG 기술의 핵심 가치인 최신 정보를 즉시 활용할 수 있도록 하는 인프라 구축에 성공했다고 평가했다.
KAIST 전산학부 김민수 교수 연구팀이 데이터가 지속적으로 추가되고 삭제되는 환경에서도 높은 검색 정확도를 안정적으로 유지하는 동적 벡터 검색 기술인 ‘CONDA(Connectivity-Aware Dynamic Index)’를 개발했다고 5일 밝혔다. 이 기술은 생성형 AI가 학습이 끝난 뒤 새롭게 등장한 정보를 스스로 인지하지 못하는 문제를 보완하기 위해 설계됐다. 현재 많은 AI 서비스는 문서나 이미지의 의미를 컴퓨터가 계산할 수 있는 숫자 묶음인 ‘벡터(Vector)’로 변환한 뒤, 의미가 비슷한 정보들을 연결해 필요한 자료를 찾는다.
그러나 기업 내부 규정이나 뉴스 기사처럼 정보가 수시로 바뀌는 환경에서는 새로운 데이터가 추가되거나 기존 데이터가 삭제되면서 데이터 사이에 만들어진 연결망이 끊어지는 ‘연결성 붕괴’가 발생할 수 있다. 이로 인해 필요한 정보가 데이터베이스 안에 있음에도 불구하고 AI가 그곳까지 도달하지 못해 검색 정확도가 떨어진다.
CONDA는 데이터 사이의 거리뿐만 아니라, 필요한 정보까지 도달할 수 있도록 검색 경로가 제대로 연결돼 있는지를 함께 고려한다. 새로운 데이터가 추가되거나 기존 데이터가 삭제돼도 중요한 연결을 유지해 특정 정보가 검색망에서 고립되는 것을 막는 방식이다. 실험 결과, CONDA는 데이터가 쉴 새 없이 추가되고 삭제되는 환경에서도 기존 최신 기술 대비 검색 정확도를 최대 24.5% 높였으며, 데이터 처리 속도도 최대 1.90배 향상시켰다. 특히 연구팀은 1억 개의 데이터가 존재하는 대규모 환경에서 6시간 동안 검색과 데이터 업데이트를 동시에 수행했다. 그 결과 CONDA는 비교 기술 대비 가장 짧은 응답시간과 높은 검색 정확도를 유지해 대규모 AI 서비스에 적용할 수 있는 가능성을 확인했다.
이번 기술은 기업 내부 규정이나 업무 문서처럼 정보가 수시로 바뀌는 지식검색 시스템뿐만 아니라 최신 뉴스 검색, 상품 검색 및 추천 등 데이터가 지속적으로 변하는 다양한 AI 서비스에 활용될 수 있다. 김민수 교수가 창업한 인공지능 데이터 인프라 기업 그래파이(GraphAI)의 데이터베이스 제품인 ‘아카식DB(AkasicDB)’에 CONDA 기술이 적용돼 올해 4분기 상용화될 예정이다.
김민수 교수는 “RAG의 중요한 가치는 대규모언어모델(LLM)이 미처 학습하지 못한 최신 정보를 필요한 순간 즉시 찾아 활용할 수 있다는 점”이라며, “이번 연구는 데이터가 끊임없이 변하는 현실 환경에서도 인공지능이 오랜 시간 정확하게 최신 지식을 활용할 수 있는 데이터 인프라를 제시했다는 점에서 의미가 크다”고 말했다.
한국 독자를 위한 맥락
현재 많은 AI 서비스는 사용자가 원하는 정보를 찾기 위해 문서나 이미지를 숫자로 변환한 ‘벡터’ 형태로 저장하고, 의미가 비슷한 자료끼리 연결해 검색을 수행한다.
기존의 검색 기술은 데이터 간의 거리만 고려하기 때문에, 새로운 정보가 추가되거나 삭제된 후에도 연결망이 무너진 상태에서 정보를 찾는 데 어려움을 겪는다. 특히 대규모 데이터베이스에서는 단순한 거리 계산만으로는 정보의 흐름을 유지하기 어렵고, 이로 인해 AI가 최신 지식을 제대로 반영하지 못하는 ‘지식 격차’가 생긴다. 이는 생성형 AI가 학습한 이후 새로운 사건이나 정책 변화를 인지하지 못하는 문제로 이어진다.
이러한 문제를 해결하기 위해 KAIST 김민수 교수팀은 데이터 간의 연결 경로를 보존하는 ‘CONDA’ 기술을 개발했다. 이 기술은 단순히 두 데이터 간의 거리만 계산하는 것이 아니라, 정보를 찾는 경로가 어떻게 연결되어 있는지를 동시에 분석함으로써, 데이터가 변해도 중요한 연결이 유지되도록 설계됐다. 예를 들어, 새로운 규정이 추가되더라도 이전의 관련 문서들과의 연결이 끊기지 않도록 보장한다.
이는 실시간으로 정보가 변하는 환경에서도 AI가 빠르고 정확하게 반응할 수 있음을 보여주는 직접적인 증거다.