이슈 브리프 · 2026-07
지식엔진 검색 실패가 가르쳐준 것
"AI가 이 문제를 못 풀었다"와 "지식엔진이 이 문제의 근거를 못 찾아줬다"는 다른 문장이다. 어스회계법인의 첫 AX 실험은 이 두 문장을 구분하는 것이 왜 중요한지를 실제 사례로 보여줬다.
검토메모 작성 실험에서 AI는 근거 검색을 21회 반복했고 대부분 성공했다. 하지만 핵심 쟁점 하나의 근거 문단만 기본 검색 경로에서 계속 놓쳤다. 이 실패를 AI의 추론 능력 문제로 처리했다면, 그 업무 자체를 "AX 불가능"으로 접었을 것이다.
실패를 분해하면 보이는 것
실패를 다시 들여다보면 원인이 추론이 아니라 검색이었다. 정답 근거 문단은 실제로 존재했다 — 다만 실무에서 자주 쓰는 표현이 그 조항이 실려 있는 기준서가 아니라, 다른 기준서의 결론도출근거 문단에만 등장했다. 일반적인 검색 방식은 이 교차 참조를 놓쳤고, 정확한 용어로 필터를 풀고 재검색해야만 문단에 도달했다.
이 구분이 중요한 이유는, 검색 실패는 지식엔진 쪽에서 고칠 수 있는 문제이지만 추론 실패는 그렇지 않을 수도 있기 때문이다. 원인을 정확히 나눠야 다음에 무엇을 고칠지, 무엇을 포기할지를 결정할 수 있다.
결함을 기록하고 되돌리는 절차
이번 실험에서 발견된 결함은 우선순위와 추정 원인을 붙여 지식엔진 쪽에 기록으로 남겼다. 실무에서 자주 쓰는 용어가 결론도출근거처럼 본문과 떨어진 위치에만 존재할 때 일반 검색이 놓친다는 것, 결론도출근거 문단의 단위가 커서 자원이 낭비된다는 것, 섹션 제목이 파싱 과정에서 잘려 나온다는 것 — 세 가지였다.
이 절차 자체가 어스회계법인이 지식엔진을 블랙박스로 소비하지 않고, 결함을 발견하면 되돌려 보고하는 소비자로 남는 방식이다. 사이트에 실린 AX 판정 하나하나는 이 되돌림 절차가 실제로 작동했다는 증거이기도 하다.
다음 실험에 남는 질문
이번 사례에서 놓친 근거는 결국 우회 검색으로 도달했다. 하지만 우회를 모르는 실무자라면 같은 실수를 반복할 수 있다는 사실은 그대로 남는다. 검색 경로 자체가 수리되기 전까지는, 이 업무가 아무리 잘 작동해도 조건부 이상으로 올라가지 않는 이유이기도 하다.
다음 업무를 AX 실험 대상으로 올릴 때도 같은 질문을 반복한다 — AI가 막힌 지점이 추론의 한계인가, 아니면 찾아야 할 근거가 애초에 엉뚱한 곳에 숨어 있었는가.
관련 서비스·사례
← 이슈 브리프 목록으로본 아티클은 어스회계법인의 내부 리서치·AX 실험 기록을 재가공한 원고이며, 실존 법인·거래와 무관합니다. K-IFRS 기준서 원문은 저작권 경계에 따라 전재하지 않으며 요지 서술만 사용합니다. 본 페이지는 회계 자문이 아니며, 실제 회계처리·시장 판단은 자격 있는 전문가의 별도 검토를 따라야 합니다.