일단 계정부터 사려고 했습니다
요즘 어디를 가나 AI가 중요하다고 합니다. 우리 기관도 뭔가 해야 할 것 같았습니다.
다른 기관 담당자들을 만나보면 우린 벌써 AI를 도입했다고 자랑까지 합니다.
그래서 우리도 상용 AI 서비스 몇 개를 결제해서 직원들이 쓸 수 있게 하기로 했습니다. 깊은 고민은 없었습니다. 다들 좋다니까 우리도 쓰려고 한 겁니다.
그런데 이야기가 들렸습니다
이렇게 진행하려던 참에, 다른 기관들에서 상용 AI를 쓸 때 문제가 생길 수 있다는 이야기가 들려왔습니다.
개인정보나 지원기업들의 사업계획서가 외부 서버에 저장되어 보안 문제가 생길 수 있다는 내용이었습니다.
그래서 진행을 잠깐 멈췄습니다.
로컬 AI라는 게 있더군요
그러고 얼마 지나지 않아, 주말에 유튜브를 보다가 상위에 걸린 로컬 AI 영상이 눈에 띄었습니다. (저는 대부분 여기서 배웁니다.)
내 컴퓨터 안에서 도는 AI가 있다더군요. 인터넷으로 어디에 보내지 않고, 그 자리에서 답을 만든다고요.
제가 본 영상에서는 구글이 막 공개한 따끈따끈한 gemma 4라는 모델을 다루고 있었습니다. 무료였습니다. 그 점이 제일 마음에 들었습니다.
그리고 유튜브에선 이거 하나면 1인 사업이든 뭐든 다 가능한 것처럼 이야기해줬습니다. (당연히 거짓말입니다…)
작은 기관이라 예산은 없었습니다
당연히 고가의 서버를 살 예산 같은 건 없었습니다.
그래서 PC를 한 대 샀습니다. 그래픽카드 메모리가 16GB 정도 되고 CPU도 나쁘지 않은, 그냥 좀 괜찮은 컴퓨터입니다. (제가 보기엔 게임용으로 참 괜찮은 것 같습니다…)
가격은 시스템 구축에 들어간 전체 비용 중에서도 가장 큰 항목이었지만, [억 단위 이야기]를 떠올리면 마음이 다시 편해집니다.
설치는 생각보다 어렵지 않았습니다, 라고 쓰고 싶지만
유튜브에서는 따라만 하면 된다고 했지만, 꼭 그렇지는 않았습니다.
처음에는 영상을 따라 하다가 설명과 조금이라도 다른 화면이 나오면 당황했습니다. 하지만 그때마다 AI님께 물었고, 그때마다 화내지 않고 잘 가르쳐 주셨습니다.
낙타인지 Ollama인지 하는 프로그램을 시키는 대로 깔고, 모델을 내려받으라는 대로 했더니 돌아갔습니다. 처음 올린 건 가벼운 모델(e4b)이었습니다.
물론 그 과정에서도 여러 번의 삽질이 있었고, 그건 따로 쓰겠습니다.
성능은 솔직히 떨어집니다
상용 AI와 비교하면 어른과 아이 정도라고 할까요. 같은 질문을 던져보면 답의 깊이가 다릅니다.
그런데 생각해보면 우리가 이 AI에게 시킬 일은 이런 것들이었습니다.
- 이 문서 요약해줘
- 우리 규정에서 이 내용 찾아줘
- 이 서류에서 날짜랑 금액만 뽑아줘
이 정도 일에는 충분했습니다.
문장 두 개로 정리됐습니다
어느 정도 보안 문제에 확신이 들자 직원들에게 이렇게 안내했습니다.
밖에 나가도 되는 자료 — 아이디어 탐구나 이미지 제작 같은 것은 상용 AI를 쓰세요. 밖에 나가면 안 되는 개인자료나 보안자료는 이 서버에서 쓰세요.
그리고 직원 보안서약서까지 받았습니다.
감사에서 문제가 생겨도 살아남는 방법이랄까요. 20년 차의 생존법 중 하나입니다.
배운 것
로컬 AI는 성능 경쟁에서 이기려고 쓰는 게 아니었습니다.
“이 자료가 외부로 나갑니까?”라는 질문에 “아니요”라고 답하기 위해 쓰는 겁니다.
그 답을 할 수 있게 되니, 그다음부터는 마음 놓고 AI를 업무에 붙일 수 있었습니다. 인사 자료도, 계약서도, 사업계획서도요.
지금 돌아보면 이 결정이 이후 모든 것의 전제였습니다. 이게 없었으면 지금 만든 것들의 절반은 못 만들었을 겁니다.
다음 글에서는 그래서 어떤 자료를 어디까지 AI에 넣어도 되는지, 제가 쓰는 기준을 정리해보겠습니다.