KBS 기자도 쳐본 시험? 기업들이 AI 역량을 직접 검증하기 시작했습니다.

일 잘하는 직원은 AI도 잘 쓸까요?

"일 잘하는 직원이 인공지능도 잘 쓴다, 맞는 말일까요?" 얼마 전 KBS 9시 뉴스에서 던진 질문입니다. 정말 그런지 확인하려고 기자 두 명이 직접 'AI 활용 능력 시험'을 쳐봤습니다.

결과가 흥미로웠습니다. 둘 다 같은 직종에서 평소 AI로 일하는 사람들이었는데요. "잘 볼 줄 알았다"던 기자는 B를, "S가 나올 줄 알았다"던 기자는 A를 받았습니다. 스스로 매긴 점수와 실제 결과가 달랐던 겁니다.

지금 이 지점을 기업들이 주목하고 있습니다. "저는 AI를 잘 활용합니다"라고 하는 말과, 실제로 AI로 일을 시켜봤을 때 나오는 결과는 다르기 때문입니다. 그 차이를 눈으로 확인하려는 곳이 늘면서, 전에 없던 AI 시험이나 AI 역량 진단들이 등장하기 시작했습니다.

AI 역량 시험은 비단 채용에만 쓰이지 않습니다. 점수를 승진과 인사고과에 반영하는 곳도 있고, 교육 전후로 구성원 역량이 실제로 늘었는지 확인하는 데도 쓰이죠. 공통점은 하나입니다. "AI 잘 쓴다"는 각자의 자기 평가를 그대로 믿는 대신, 직접 재보기 시작했다는 것.

그렇다면 이 AI 역량 시험은 실제로 무슨 역량을 어떻게 보는 걸까요?

‍

AI 역량 시험은 아는지가 아니라 쓸 줄 아는지를 봅니다

KBS 기자가 친 AI 역량 시험의 화면을 보면, 왼쪽엔 풀어야 할 업무 과제가, 오른쪽엔 생성형 AI 대화창이 있습니다. 50여 개 문제 중 하나를 고르면 시험이 시작됩니다. 기자들은 각각 '신년사 쓰기'와 'AI 윤리' 과제를 골랐고, 다른 프로그램 없이 오직 생성형 AI만 써서 30분 안에 과제를 끝내야 했습니다. 채점도 AI가 하고, 결과는 S부터 D까지 다섯 등급으로 나옵니다.

여기서 중요한 건 평가의 척도입니다. 'AI를 얼마나 아느냐'가 아니라 'AI를 어떻게 활용하느냐'를 보기 때문입니다. AI에게 구체적인 역할을 부여하는지, 작업의 맥락과 필요성을 설명하는지, 답변의 범위와 금지 항목을 설정하는지 같은 것들이죠. 코딩을 몰라도 풀 수 있습니다. 주어진 문제를 얼마나 구조화해서 단계적으로 접근하느냐가 핵심입니다.

만약 지식을 묻는 시험이라면 외워서 대비할 수 있습니다. 하지만 이건 평소에 일하는 방식이 그대로 드러나는 시험입니다. 그래서 같은 직종이나, 'AI를 좀 쓰는' 사람들 사이에서도 등급이 갈릴 수 밖에 없습니다.

‍

텔타의 AI 역량 진단도 같은 원리로 작동합니다

텔타의 AI 리터러시 진단도 이와 매우 유사합니다. 실제 진단 화면을 함께 보겠습니다.

화면 왼쪽에는 실제 업무 상황이 주어집니다. 예를 들면 "00팀의 주간 업무 현황 리포트를 작성하라"는 과제와, 참고할 수 있는 업무 데이터가 표로 함께 나오죠. 오른쪽에는 실제 AI 대화 도구가 붙어 있어서, 진단 참여자는 이 도구를 통해 직접 프롬프트를 써가며 리포트를 완성해 제출합니다.

여기서 주목할 점은 텔타 AI 역량 진단의 평가 방식입니다. 텔타는 완성된 결과물만 채점하지 않습니다. 진단 참여자가 프롬프트를 어떻게 구성하고 다듬어 가며 과제를 풀어냈는지, 그 과정까지 평가에 반영합니다. 진단 중 외부 AI 도구 사용을 제한하는 것도 같은 이유입니다. 밖에서 만들어 온 답에는 정작 핵심인 ‘활용 과정’이 담기지 않기 때문이죠. 즉, 답이 아니라 답에 이르는 과정을 본다는 뜻입니다.

텔타가 매일경제 기자 네 명을 대상으로 같은 진단을 진행했을 때도 결과는 KBS 사례와 다르지 않았습니다. AI 지식 문항을 가장 많이 맞힌 기자가 활용 점수에서는 3위에 그쳤고, 지식이 상대적으로 낮았던 기자가 종합 1위를 차지했습니다. 많이 아는 것과 잘 쓰는 것은 분명히 다른 역량이라는 사실이 진단 결과를 통해 그대로 확인된 셈입니다.

매일경제 기자들의 텔타의 AI 역량 진단 체험 결과는 아래 아티클에서 확인하실 수 있습니다.
‍🔗 매경 디지털테크부 기자 4인의 AI 리터러시 진단 결과, 예상은 빗나갔다

‍

AI 역량 진단의 가치는 진단 이후에 드러납니다

그런데 HR 입장에서 진짜 궁금한 질문은 따로 있습니다. 그래서, 우리 구성원은 지금 어디쯤 있고, 무엇을 더 채워야 하는가? 이는 진단 점수나 등급만 보고서는 답할 수 없는 질문입니다.

텔타의 AI 리터러시 진단 결과 리포트는 HR, HRD 담당자들의 질문에 답할 수 있습니다. AI를 이해하는 수준과 실제로 활용하는 수준을 나눠서 보여주고, 어떤 응답에서 그 판단이 나왔는지 근거까지 담기 때문이죠. 누구에게 어떤 교육을 붙일지, 다음 분기 AI 리터러시 교육이 실제로 역량을 끌어올렸는지 데이터를 기반으로 결정을 내릴 수 있습니다.

‍

우리 조직 구성원의 AI 리터러시는 지금 어떤 수준일까요?

AI를 잘 쓰는 사람과 그렇지 않은 사람의 차이는 이제 일하는 결과로 분명하게 드러납니다. 미국에서는 AI 활용 능력을 우대한다고 밝힌 구인 공고가 최근 2년 새 7배로 늘었죠. 이제 질문은 ‘AI를 쓰는가’가 아닙니다. ‘누가 AI로 더 나은 결과를 만들어내는가’입니다. 기업들은 이미 이 질문을 던지기 시작했습니다.

남은 건 이 질문에 대한 우리 조직의 답입니다.
우리 조직의 구성원은 AI로 얼마나, 어떻게 일하고 있을까요?