"증거검색 용도로 제가 딱 찾던 제품이에요." 15년 경력 증권 전문 변호사가 로컬독스를 선택하기까지

"앱 자체가 지금 제공해 주는 외형이나 추구하시는 방향은 제가 생각하는 거랑 제일 잘 맞는 것 같아요. 증거검색 용도로는 제가 딱 찾던 제품인 것 같습니다."

— K 변호사, 80인 법무법인, 15년 경력, 증권·자본시장·회사법 전문

법률 업무에서 AI를 쓰는 일이 점점 '선택'이 아니라 '생존'의 문제가 되고 있습니다. 하지만 막상 도입해보려 하면 두 개의 벽이 앞을 가로막습니다. 챗GPT, Gemini같은 일반적인 AI 도구는 보안이 문제이고, 보안이 검증된 시스템은 수억 원이 듭니다. 이 딜레마를 정면으로 부딪혀 본 변호사의 이야기를 들어보았습니다.

소송 현장의 현실: 증거 1,000개, 2~3GB의 PDF 더미

K 변호사님은 현재 80인 규모의 법무법인에서 15년 이상 증권·자본시장 및 회사법을 주로 다루고 있습니다. 그의 일상은 방대한 문서와의 싸움이기도 합니다.

소송 사건 하나를 처리하다 보면 양쪽에서 제출된 증거들이 각각 별개의 파일로 쌓여갑니다. 간단한 사건은 수십 개 수준이지만, 복잡한 자본시장 사건에서는 증거 파일만 1,000개 이상, 용량으로는 2~3GB에 달하는 경우도 있습니다. 변호사 서면 본문까지 합치면 그야말로 문서의 바다입니다.

문제는 이 바다에서 원하는 정보를 건져내는 방식이었습니다.

"기본적으로는 거의 노가다로 찾을 때가 많아요. 그냥 단순 키워드 서치를 하는데, 소송에서는 유사 단어가 워낙 많이 반복되다 보니까 핵심 문서를 딱 찾고 싶을 때 잘 안 될 때가 많고… 그런 부분에서 시간이 꽤 날아가죠."

소송 규모가 클수록 증거 검색에 낭비되는 시간은 늘어납니다. 하루 한두 시간을 증거 문서를 뒤지는 데만 쓰는 일이 반복되었습니다. 어딘가에 분명히 있는 내용인데, 어느 파일 몇 페이지에 있는지 특정하는 것이 생각보다 쉽지 않습니다. 단순한 키워드 검색으로는 한계가 있고, 그렇다고 수천 페이지를 눈으로 다시 읽을 수도 없습니다.

AI를 써보려 했지만… 퍼플렉시티, 제미나이, 그리고 DIY의 실패

처음에는 사무 영역에서 AI를 적극적으로 활용하는 편이 아니었습니다. 하지만 점점 커지는 불편함을 견디다 못해 직접 해결책을 찾기 시작했습니다.

1) 퍼플렉시티와 제미나이. "한 번에 3~4개가 한계예요"

가장 먼저 시도한 것은 퍼플렉시티와 제미나이였습니다. 하지만 실망은 빨리 찾아왔습니다.

"퍼플렉시티한테 물어봤더니 지 말로는 한 3~4개 이상은 동시에 제대로 못 본다고 하더라고요. 제미나이도 울트라로 해봤는데…"

당장 다뤄야 하는 소송 기록은 수십, 수백 개인데, 메시지 한 번에 참조할 수 있는 파일이 고작 몇 개에 불과하다는 것은 실무에서 사용할 수 없다는 의미와 다름없었습니다.

2) 직접 구축 시도. Dify 설치, 그리고 잦은 에러

일반 AI 도구로는 안 된다는 결론이 나오자, 직접 구축을 시도했습니다. 제미나이 비즈니스 API 키를 발급받고, Dify라는 오픈소스 AI 플랫폼을 로컬에 설치해 직접 RAG 시스템을 만들어보려 했습니다.

"그거를 한번 해보려고 했는데, 자꾸 에러가 나가지고… 그래서 다시 지웠어요."

개발자도 아닌 변호사가 도커 컨테이너를 설치하고 API를 연결하는 작업은 결코 쉽지 않았습니다. 설치는 됐다는데 정작 LLM 서버가 응답을 못 하고, 레지스트리까지 직접 뒤져가며 완전히 초기화하고 재시도하는 과정이 반복됐습니다. 결국 포기하고 다른 대안을 찾기 시작했습니다.

3) AI가 추천해준 로컬독스

마지막 시도는 역설적이게도 AI에게 해결책을 물어보는 것이었습니다.

"AI한테 이런 거에 대한 솔루션을 좀 물어봤었어요. 그 과정에서 AI가 안내를 해줬고, 그래서 알게 됐어요."

AI가 추천해준 결과물 중 하나가 로컬독스였습니다. 복잡한 서버 구축 없이 윈도우 앱만 설치하면 되는 구조, 그리고 문서 검색을 로컬에서 처리하는 방식이 눈에 들어왔습니다.

변호사가 가장 먼저 물어본 것: 보안

도구의 기능보다 먼저, K 변호사가 가장 예민하게 따진 것은 데이터 보안이었습니다.

"저희가 이게 기록을 어디까지 올릴 거냐, 이런 문제들이 좀 있어요. 아무리 API라도 외부 LLM이 관여한다면 그 자체로 문제가 될 소지는 있어요."

변호사 입장에서 의뢰인의 소송 기록과 증거 자료를 외부 서버에 올리는 것은 단순한 개인정보 보호 문제를 넘어섭니다. 의뢰인에 대한 직업적 비밀유지 의무, 법률사무소의 정보보안 기준이 모두 걸려 있는 문제입니다.

이러한 이유로 그간 AI 도구 자체를 아예 사용하지 않던 판단은 일종의 원칙이었습니다. 그럼에도 현실과 타협을 시도하게 된 것은, 점점 더 커지는 업무 비효율 때문이었습니다.

"지금 이쪽에서 AI가 유행한다고 했을 때조차도 시작을 안 했던 건데, 어떻게 보면 조금은 현실과 타협을 하려고 하는 거죠. 솔직하게 말씀드리면."

로컬독스의 특별한 보안 구조.
"문서는 내 PC 밖으로 나가지 않습니다"

로컬독스 팀은 이 질문에 다음과 같이 답했습니다.

문서를 읽고 인덱싱하는 과정(RAG)은 전적으로 사용자의 PC 내부에서만 이루어집니다. 업로드한 파일은 어떤 외부 서버에도 전송되지 않으며, 로컬독스 팀 역시 해당 문서 내용을 볼 수 없습니다.

AI가 답변을 생성할 때는, 수백 개 문서 중 질문과 가장 관련 있다고 판단된 핵심 내용 몇 가지만 선별하여 외부 LLM API에 전달합니다. 이때도 원본 문서 전체가 아닌, 추려진 문맥 정보만 나가는 구조입니다.

K 변호사는 이 구조를 이해한 뒤, 자신이 이전에 구글 드라이브에 파일을 올리고 제미나이로 분석을 시도했던 방식보다는 낫다고 평가했습니다. 완전한 온프레미스 구축만큼 안심할 수는 없지만, 기존에 사용하던 클라우드 기반 도구들보다는 구조적으로 훨씬 더 안전하다는 판단이었습니다.

로컬독스를 실제로 써보니.. 솔직한 사용 후기

현재 K 변호사는 실제 진행 중인 사건의 서면 파일 약 80개를 로컬독스에 등록해 두고 테스트 겸 실무 병행으로 사용 중입니다. 아직 증거 파일은 올리지 않았고, 변호사 측 서면 본문을 중심으로 구성했습니다.

예상보다 나은 답변 품질

"나오는 결과물 자체는 솔직한 생각은 예상보다는 괜찮았거든요. 내용 자체는 상당히 내 생각보다 잘 나왔어요."

단순 키워드가 아니라 의미 기반으로 찾아주는 시맨틱 서치 덕분에, 기존에 Ctrl+F로는 건져내지 못했던 관련 내용들이 답변으로 나오는 경험을 했습니다. 어떤 맥락에서 무언가를 찾고 싶다는 추상적인 표현에도 어느 정도 답변이 돌아왔습니다.

아직 아쉬운 점: 출처 링크의 정확도

현재 가장 크게 아쉬운 부분은 출처(사이테이션) 링크의 정확도입니다.

"진행은 훌륭하게 나오는 것 같은데, 다만 거기서 말하는 근거 파일로 잡아주는 걸 실제로 눌렀을 때 링크랑 내용이 좀 안 맞을 때가 꽤 있는 것 같아요. 얘가 뭔가를 본 것 같은데, 정확히 거기를 짚지는 못하는 것 같다는 느낌이 아직 있어요."

법률 실무에서 출처 정확도는 특히 중요합니다. 어떤 주장의 근거가 어느 증거의 몇 페이지에 있는지 정확히 찾아야 하는데, 답변은 맞는 방향인데 소스 링크가 다른 파일을 가리키는 경우가 종종 발생했습니다. 현재 로컬독스 팀이 이 부분을 지속적으로 개선하고 있습니다.

PC 사양도 중요한 변수

로컬에서 문서를 처리하는 구조인 만큼, 사용자의 PC 사양이 체감 성능에 직접적인 영향을 미칩니다. K 변호사의 현재 PC는 인텔 11세대 i5 프로세서, 32GB RAM, 구형 외장 그래픽 카드(GT 640, 2GB)로 구성된 업무용 사무 PC입니다.

처음 파일을 올릴 때 인덱싱(문서 읽기) 시간이 다소 걸리는 점을 느꼈으며, 향후 1,000개 이상의 증거 파일을 처리하려면 더 높은 사양의 PC가 필요할 수 있다는 것을 인식하게 됐습니다.

"이거를 잘 쓸 수 있다면, 하드웨어는 바꿀 수도 있을 것 같아요. 이 정도 사양이면 된다는 가이드라인 같은 걸 주시면 판단하는 데 도움이 될 것 같고요."

변호사가 내린 결론

일주일도 안 되는 짧은 테스트 기간이었지만, K 변호사의 평가는 분명했습니다.

"외형이나 추구하시는 바는 제가 생각하는 거랑 제일 잘 맞는 것 같아요. 아직 레퍼런스가 많지 않긴 하지만, 그래도 도움은 되고 있어요."

증거 검색이라는 특수하고 반복적인 법률 실무의 고충을 수억 원짜리 온프레미스 시스템 없이도, 그리고 민감한 원본 파일을 통째로 외부에 올리지 않고도 해결할 수 있는 구조 자체가 지금까지 시도해 본 어떤 도구보다 방향성이 맞다는 판단이었습니다.

법률 실무자를 위한 로컬독스 제품 요약

마치며

소송 규모가 클수록, 다루는 기록이 복잡할수록, 법률 전문가에게 '문서에서 원하는 것을 정확하게 찾아내는 능력'은 단순한 편의를 넘어 업무 품질 그 자체입니다.

챗GPT나 제미나이는 그 문을 열어줄 듯 보였지만, 막상 들어서면 보안의 벽이 기다리고 있었습니다. 수억 원짜리 온프레미스 구축은 보안을 지켜주지만, 대부분의 조직에는 현실적인 선택지가 아닙니다.

그 막힌 두 길 사이, 15년 경력의 변호사가 내린 선택은 분명했습니다. 민감한 문서를 외부에 통째로 올리지 않아도 되고, 수억 원을 들이지 않아도 되며, 지금 당장 쓸 수 있는 도구. 그 답이 로컬독스입니다.

오늘도 수백 개의 PDF 더미 앞에서 Ctrl+F를 누르고 있다면, 이제 다른 선택지가 생겼습니다.

우리 회사 문서로 직접 사용해 보기 →