중요한 걸 물어볼 때 저는 한 군데에만 묻지 않습니다.
두세 군데에 던집니다. 논문 쓸 때도, 보고서 만들 때도, 뭔가 궁금할 때도요.
왜 그러느냐면
써본 경험상 AI가 완벽할 수 없다고 생각하기 때문입니다.
그런데 문제는 AI가 그렇게 말하지 않는다는 겁니다. 물어보면 아주 확신 있게 답합니다. 틀려도 확신 있게 답합니다. 처음 쓰는 사람이나 그 분야를 모르는 사람은 자칫 속기 쉽습니다. 모르겠다고 하는 경우는 드물고요.
사람은 애매하면 표정이 흔들리거나 어딘가 부자연스럽습니다. AI는 안 그렇습니다. 그래서 읽는 사람이 판단할 단서가 없습니다.
제 방법은 두 가지입니다
하나. 같은 질문을 여러 곳에 던집니다.
똑같은 질문을 복사해서 두세 군데에 넣습니다. 답이 비슷하게 나오면 대체로 믿을 만합니다.
둘. 한쪽 답을 복사해서 다른 쪽에 검증시킵니다.
이게 더 셉니다.
“다른 데서는 이렇게 답했는데, 이게 맞을까?”
가끔은 이렇게도 묻습니다.
“아래 내용은 어떻게 생각해?”
왜 그런지 모르겠는데, 다른 AI가 한 답이라고 말하고 물어보는 게 좀 미안하더군요.
어느 쪽으로 묻든, 그냥 같은 질문을 다시 던지는 것과는 완전히 다른 답이 나옵니다. 검토하는 자리에 세우는 것이니까요. 빠진 걸 짚어주기도 하고, 아예 반대로 말하기도 합니다.
이런 말 하면 좀 그렇지만, 남의 논문이나 보고서 흠 잡기 좋아하는 사람한테 보여주는 느낌입니다.
첫 번째가 다수결이라면, 두 번째는 반론을 시키는 것입니다.
해보면 대부분 비슷하게 나옵니다
솔직히 말하면 그렇습니다.
예전에 휴일대체근무 같은 인사노무 문제로 자문이 필요했던 적이 있는데, 두세 군데에 물어보니 거의 같은 답이 나왔습니다. 그러면 어느 정도 믿고 갑니다.
다만 법률처럼 민감한 부분은 다시 한번 전문가에게 물어 확정합니다. AI 답이 일치한다고 그게 법적 판단이 되는 건 아니니까요.
중요한 건 갈리는 나머지입니다. 한 군데만 다르게 말하거나, 한 군데만 뭔가를 더 짚어주는 경우요. 거기가 대체로 애매한 지점이고, 실제로 문제가 생기는 것도 거기입니다.
그런데 갈리면 누가 정합니까
여기가 이 이야기의 진짜 지점입니다.
세 군데 물어서 둘이 A라고 하고 하나가 B라고 하면, A가 맞는 걸까요. 그렇지 않습니다. 셋 다 틀릴 수도 있고, 혼자 말한 쪽이 맞을 수도 있습니다. 애초에 제가 자료를 제대로 못 줬거나 빠뜨린 게 있었을 수도 있고요.
결국 최종적으로는 제가 봅니다.
그리고 제가 볼 수 있는 만큼만 봅니다. 인사·노무는 제 직무가 이쪽이고 경험도 좀 있어서 어느 쪽이 이상한지 보이는데, 제가 모르는 분야였으면 그냥 다수결로 갔을 겁니다. 그리고 그건 검증이 아니라 그냥 찍는 겁니다.
전에 쓴 글과 이어집니다
「AI는 젊은 사람이 잘 쓸까요」에서 세 가지가 필요하다고 썼습니다. 뭘 알아야 물어볼 수 있고, 알아야 지시할 수 있고, 결과가 맞는지 분간할 수 있어야 한다고요.
교차로 물어보는 건 그 세 번째를 돕는 방법입니다. 대신해주는 방법이 아니고요.
AI 두 개를 붙여놓으면 서로 못 보던 걸 봐줍니다. 그건 확실히 도움이 됩니다. 그런데 그 둘이 갈렸을 때 고르는 건 여전히 저입니다. 판단하는 사람이 아는 만큼이 결국 한계입니다.
그래서 이건 도구를 늘리는 이야기가 아닙니다
AI를 여러 개 쓰면 더 좋아진다는 말로 들릴 수 있는데, 제가 하려는 말은 조금 다릅니다.
혼자서는 AI 답을 거절하기가 어렵습니다. 그럴듯하게 쓰여 있고, 나는 그 분야를 잘 모르고, 반박할 근거도 없습니다. 그럴 때 다른 AI에게 그 답을 보여주면 거절을 대신 시켜볼 수 있습니다.
거절할 거리를 얻는 겁니다. 거절 자체는 제가 하고요.
다만 회사 자료로는 이렇게 안 합니다
이건 꼭 덧붙여야겠습니다.
교차로 물어본다는 건 같은 자료를 여러 곳에 올린다는 뜻입니다. 두 군데면 노출 지점이 두 배, 세 군데면 세 배입니다.
저는 무엇을 올리면 안 되는지에 대해 따로 쓴 적이 있습니다. 그 원칙이 여기서도 그대로입니다.
- 교차검증은 공개 자료나 일반적인 질문에만 씁니다
- 업무 문서는 애초에 한 군데도 안 올립니다
- 굳이 필요하면 내부에 둔 AI로 합니다
편해지자고 하는 일인데 사고가 나면 안 되니까요.
정리하면 이렇습니다.
중요한 건 두세 군데에 물어봅니다. 한쪽 답을 다른 쪽에 보여주고 검증시킵니다. 대부분은 같게 나오고, 갈리는 데가 중요합니다.
그리고 최종 결정은 사람인 제가 하고, 책임도 제가 집니다.
AI 이야기에서 자주 나오는 Human-in-the-loop가 이걸 말하는 것 같습니다. 요즘은 인사 쪽에서도 자주 들리는 말이고요.
마지막 줄이 제일 중요한 것 같습니다.