2024.09소프트웨어·인프라신규 구축

사내 문서 어시스턴트

사내 문서를 근거로 답하고 출처를 함께 보여 주는 AI입니다.

웹서버·인프라

배경

사내 규정과 기술 문서를 검색하고 싶었지만 외부 LLM 서비스에 문서를 올릴 수 없는 보안 정책이 있었다. 문서가 회사 밖으로 나가지 않으면서도 질문에 바로 답하는 방식이 필요했다.

그 상황에서 무엇을 왜 골랐는지

문서를 외부로 반출하지 않는 것이 요구사항의 전제였다. 모델을 사내 인프라에 두면 질의와 문서가 회사 경계를 넘지 않는 구조를 만들 수 있었다.

모델이 답을 생성만 하면 그 답이 맞는지 확인할 방법이 없었다. 벡터DB에서 관련 문서를 먼저 찾고 그 문서를 근거로 답하게 해서, 사용자가 답변과 함께 원문을 바로 확인할 수 있게 했다.

문제

사내 문서가 계속 개정되는데, 색인이 갱신되지 않으면 이미 폐기된 규정을 근거로 답하는 문제가 있었다.

접근

문서 개정 시 해당 문서만 벡터DB에서 재색인하도록 파이프라인을 만들고, 문서 버전을 함께 기록해 답변에 반영된 문서가 최신본인지 확인할 수 있게 했다.

결과

규정이 바뀌어도 다음 색인 주기 안에 답변에 반영되고, 어떤 버전의 문서를 근거로 답했는지 추적할 수 있게 됐다.

문제

질문이 모호하거나 관련 문서가 여러 개일 때 모델이 근거 없는 내용을 섞어 답하는 경우가 있었다.

접근

검색된 문서와 답변 내용을 대조해 근거 문서에 없는 내용이 포함되면 그 사실을 답변에 표시하도록 했다.

결과

근거가 불충분한 답변을 사용자가 구분할 수 있게 되어, 확인 없이 그대로 인용하는 위험을 줄였다.

사내 관리자에게 문서 등록·재색인 방법과 모델 운영 가이드를 전달했다. 소스코드와 사내망 배포 구성을 인계했고, 모델 튜닝과 문서 확장은 별도 유지보수로 지원했다.

LLMRAGVector DBPython