TwentyTwentyOne

[2026년 11월 3일] RAG 검색 품질 평가하기: Recall@K·MRR과 정답 없는 질문을 Python으로 검증하기 — AI·AX 시리즈 10편RAG 검색은 필요한 근거를 찾았는지, 얼마나 앞에 배치했는지, 근거가 없는 질문에 불필요한 문서를 반환했는지 나눠 평가해야 한다. Recall@K는 관련 자료의 회수 정도를, MRR은 첫 관련 자료의 순위를 살펴보는 지표다.지난 글에서는 텍스트 문서를 문단으로 나누고 질문과 공통된 단어가 있는 부분을 검색했다.보고서 검토라는 질문에는 관련 문단이 잘 나왔다. 그렇다면 비슷한 의미의 보고서를 검토하려면도 잘 찾을까?이번에는 그렇지 않다.문서를 더 넣거나 모델을 바꾸기 전에 이 차이부터 확인하려 한다. 잘되는 질문 하나를 보고 검색 전체가 잘된다고 판단하지 ..

[2026년 11월 3일] RAG란 무엇인가? Python으로 사내 문서 검색과 출처 표시 구현하기 — AI·AX 시리즈 9편RAG는 질문과 관련된 외부 자료를 검색하고, 그 내용을 생성 모델에 제공해 답변을 만드는 방식이다. 업무용 RAG에서는 모델 연결뿐 아니라 문서의 최신성, 검색 정확도, 접근 권한, 답변의 근거를 함께 관리해야 한다.지난 8편에서는 작은 AI 도구의 업무 적용과 효과 측정까지 살펴봤다. 여기서부터는 실전 확장 편이다.이번에는 이런 질문을 다뤄보려 한다.“우리 회사의 보고서 검토 규칙을 AI가 알고 답하게 하려면 어떻게 해야 할까?”일반적인 모델에 물어보면 그럴듯한 검토 절차를 설명할 수 있다. 하지만 그것이 우리 회사의 실제 규칙이라는 보장은 없다.필요한 문서를 찾아서 답변에 참..

[2026년 11월 3일] AX 도입 효과는 어떻게 측정할까? 작은 AI 도구를 실제 업무로 연결하는 방법 — AI·AX 시리즈 8편AX 도입 효과는 AI 사용 횟수보다 업무의 처리 시간, 결과 품질, 검토·재작업 부담, 총비용이 어떻게 달라졌는지로 판단해야 한다. 작은 업무부터 제한적으로 적용하고, 기존 방식과 비교한 뒤 확대 여부를 결정하는 것이 이 글에서 제안하는 접근이다.CSV를 집계하고, 보고서 초안을 만들고, 도구 호출과 평가 기록까지 살펴봤다.이제 마지막 질문이 남았다.“그래서 이걸 실제로 쓰면 일이 얼마나 나아질까?”프로그램이 정상적으로 실행되는 것과 업무에 도움이 되는 것은 다르다. 보고서 작성은 빨라졌는데 검토 시간이 늘어날 수도 있다. 도구를 만든 사람만 사용할 수 있다면 다른 담당자..