LLM이 법률 조항을 올바르게 인용하게 하는 데 개발 시간의 40%를 썼다. 발견한 7가지 실패 패턴

독일 법률 사무소를 위해 AI 법률 연구 어시스턴트를 개발했습니다. 데이터 검색 파이프라인(retrieval pipeline)에는 전체 개발 시간의 약 30%가 소요되었습니다. 나머지 70%는 대형 언어 모델(LLM)이 법률 조항을 올바르게 인용하도록 하기 위한 투쟁에 사용되었습니다. 변호사들은 인용 형식에 매우 엄격한 기준을 가지고 있습니다. "법률 지침에 따르면"이라고 말할 수 없고, "DSGVO 제32(1)(a)조, EuGH의 C-300/21 판례에 따른 해석에 기초하여"라고 말해야 합니다. 시스템이 이를 할 수 없으면 변호사가 검증할 수 없는 답변을 신뢰할 수 없기 때문에 완전히 쓸모가 없어집니다. 제가 마주친 모든 인용 실패 패턴과 이를 해결하는 방법을 소개합니다.