AI를 아는 것과 활용하는 것의 차이, 텔타가 AI 역량을 측정하는 방법

이전 아티클까지 따라오셨다면 AI 역량 측정에 대한 큰 그림은 어느 정도 그려진 상태일 겁니다. 수료율과 만족도로는 역량의 변화를 답하기 어렵다는 점, 그리고 AI 역량은 깊이와 넓이 두 축으로 분해해서 봐야 한다는 점까지요.

그럼 이 AI 역량은 실제로 어떻게 측정할 수 있을까요?

‍

측정 영역에 따라 달라지는 AI 역량 측정 방식

이전 글에서 정리한 대로 AI 역량은 한 가지 영역으로 측정되지 않습니다. AI에 대한 이해, 도구를 선택하는 판단, 업무 적용 기획, 실행, 결과 검토 같은 여러 영역이 모여 한 사람의 AI 역량을 구성합니다.

문제는 이 영역들의 성격이 서로 다르다는 점입니다. 정답이 있는 영역이 있고, 정답이 없는 영역이 있습니다. 머릿속 지식으로 답할 수 있는 영역이 있고, 실제 행동을 봐야만 답할 수 있는 영역도 있죠. 그래서 한 가지 측정 방식으로 모든 영역을 답할 수는 없습니다.

아래처럼 세 가지 다른 방식이 필요합니다.

• AI에 대한 지식 → 정답이 있는 영역, 객관식 퀴즈로 측정 가능
• AI 활용 능력 → 정답이 없는 영역, 실무 상황을 주고 직접 풀어내게 해야 측정 가능
• 평소 실제 사용 → 본인의 행동 데이터, 짧은 자가 보고 서베이로 빈도와 맥락을 보완

텔타도 AI 리터러시 진단을 이 세 가지 방식으로 나눠 운영하고 있습니다. 어떤 방식이 무엇을 답하는지 차례로 살펴보겠습니다.

‍

AI를 얼마나 아는가를 측정하는 객관식 퀴즈

가장 익숙한 측정 방식은 객관식 퀴즈입니다. AI가 무엇이고, 어떻게 작동하는지, 어떤 리스크가 있는지, 어떤 도구가 어떤 작업에 적합한지 같은 지식 영역은 정답이 정해져 있고, 정답을 알고 있는지 여부로 변별이 가능합니다.

텔타도 AI 리터러시 진단의 첫 단계는 객관식 퀴즈로 아래 두 가지 영역을 확인하고 있어요.

• 기술적 이해(Technical Understanding) AI 기술과 작동 원리, 한계에 대한 이해
• 도구 이해 및 선택(Tool Awareness) AI 도구의 영역 인식과 작업에 적합한 도구 선택

이 두 영역은 Pass/Fail 방식으로 떨어내는 기본선입니다. 한 사람이 AI에 대해 알아야 할 기본을 알고 있는지를 확인하는 단계죠.

다만 객관식 퀴즈가 답할 수 있는 영역은 여기까지입니다. 정답을 알고 있다고 해서 실제로 AI를 다룰 줄 아는지는 모르거든요. LLM이 무엇인지 정확히 정의할 수 있는 사람과, LLM으로 어제 보고서 초안을 만들어낸 사람의 차이는 객관식 점수만으로는 보이지 않습니다. 시중의 많은 AI 역량 진단이 이 단계에서 멈추고, 정작 조직이 알고 싶은 활용 능력에 대해서는 답을 받지 못하는 이유입니다.

‍

직접 풀이하는 과정으로 측정하는 AI 활용 능력

활용 능력은 객관식으로 측정되지 않습니다. 실제 업무 상황에는 정답이 없거든요. 같은 문제를 받아도 어떻게 정의하고, 어떤 도구를 골라, 어떤 프롬프트로, 결과를 어떻게 검토할지는 사람마다 다릅니다. 측정해야 할 것은 한 사람이 정답에 가까운 행동을 하는지가 아니라, AI를 다루는 그 과정 자체죠. 어떤 식으로 프롬프트를 짜고, 답이 부족할 때 어떻게 보강하고, 결과의 어떤 부분을 의심하는지를 봐야 그 사람의 활용 능력이 보입니다.

그래서 진단 대상자에게 실무 상황을 그대로 주고, 그 안에서 LLM을 직접 활용해 풀어내게 하는 방식이 필요합니다. 텔타는 시나리오 시뮬레이션으로 이 과정을 보고 있습니다. 진단 대상자가 어떤 식으로 문제를 정의하고, 프롬프트를 어떻게 짜고, 받은 결과를 어떻게 검토하는지를 행동 데이터로 남기는 거죠.

텔타의 시나리오 시뮬레이션은 아래 세 가지 영역을 봅니다.

• 업무 기획(Plan) : 어떤 업무에 AI를 적용할지 판단하고 과제 범위를 정의
• 실행(Execute) : 프롬프트 설계와 LLM 상호작용을 통한 실제 실행
• 검토(Review) : AI 산출물의 비판적 검토와 결과에 대한 의사결정

같은 객관식 만점을 받은 두 사람이 시뮬레이션에서는 전혀 다른 점수를 받기도 합니다. 정답을 알고 있다는 것과 그 정답을 실제 문제 해결에 쓸 수 있다는 것은 다른 능력이니까요.

💡 검토 단계가 필요한 이유
시중의 AI 역량 진단 다수는 결과물 검증과 리스크 판별을 측정 영역에 포함하지 않는 경우가 많습니다. 하지만 AI 산출물은 그럴듯해 보여도 사실 오류나 편향이 섞여 들어가기 쉽습니다. 출처와 근거를 다시 짚지 못하면 잘못된 결과가 의사결정에 영향을 줄 수 있죠. 따라서 텔타는 검토(Review)를 별도 측정 영역으로 두고, AI 산출물을 비판적으로 검증하고 리스크를 판별하는 역량을 반드시 확인하고 있습니다.

‍

AI를 평소에 얼마나 사용하고 있는가를 묻는 활용 경험 서베이

활용 능력 측정이 끝났다고 해서 한 사람의 AI 역량이 다 보이는 건 아닙니다. 진단에서 잘 해내는 것과 평소 업무에서 실제로 AI를 자주 활용하는 것은 또 다른 영역이거든요. 시뮬레이션이 "할 수 있다"를 본다면, 활용 경험은 "실제로 하고 있다"를 봐야 합니다.

이 차이는 짧은 자가 보고 서베이로 보완할 수 있습니다. 한 사람이 AI를 평소 어떤 빈도로, 어떤 업무 맥락에서, 어떤 도구를 통해 활용하고 있는지를 묻는 방식이죠.

텔타의 AI 리터러시 진단도 짧은 활용 경험 서베이를 함께 운영합니다. AI가 어떤 업무에 어느 정도 빈도로 녹아 있는지를 파악할 수 있기 때문입니다. 이 통계 결과를 시뮬레이션 결과와 함께 분석할 때, 측정된 능력과 실제 사용 사이의 간극이 어디서 벌어지는지가 보입니다.

예를 들어 활용 능력 점수는 높은데 활용 빈도는 낮은 구성원이라면, 능력은 있는데 업무에 적용되지 않고 있다는 신호입니다. 반대로 능력 점수는 낮은데 활용 빈도는 높은 구성원이라면, AI를 자주 쓰고는 있지만 적절하게 다루지 못하고 있다는 신호고요. 두 가지를 같이 봐야 다음 분기 교육 우선순위가 보입니다.

‍

기업의 AI 역량 측정 결과를 의사결정으로 잇는 리포트

측정이 끝나도 그 결과가 다음 의사결정으로 이어지지 않으면 의미가 없습니다. 진단 결과가 의사결정에 쓰이려면 두 가지가 필요합니다. 점수 옆에 그 점수의 행동 근거가 함께 보여야 하고, 한 사람의 점수에 머무르지 않고 부서·직무 단위 비교 데이터로도 정리되어야 합니다.

텔타 진단 결과 리포트는 이 두 가지를 함께 보여주고 있습니다.

개인 리포트는 다섯 가지 영역(기술적 이해, 도구 이해 및 선택, 업무 기획, 실행, 검토)별 강점과 약점을 풀어주고, 시뮬레이션에서 본인이 작성한 응답을 함께 첨부합니다. 점수 옆에 그 점수가 나온 본인의 행동이 그대로 남는 거죠.

조직 리포트는 같은 데이터를 부서·직무 단위로 묶어 비교 데이터로 보여줍니다. 어느 부서가 어떤 영역에서 약한지, 활용 경험은 어디가 가장 활발한지가 정리되어 다음 분기 교육 자원을 어디에 우선 투입할지 결정하는 데이터가 됩니다.

여기까지 정리하면 AI 역량을 어떻게 측정해야 하는가에 대한 큰 그림이 그려집니다. 영역 성격에 따라 측정 방식이 달라지고, 결과 리포트가 점수와 함께 행동 근거·조직 비교까지 보여줘야 의사결정 데이터로 쓰인다는 점이죠.

그렇다면 시중의 AI 역량 진단들은 이 기준에 어떻게 답하고 있을까요? 다음 글에서 기업에서 AI 역량 진단 솔루션을 검토할 때 무엇을 기준으로 비교해야 하는지, 그 기준을 정리해보려고 합니다.

AI 역량을 측정한다는 것은 결국 한 사람이 AI 앞에서 어떻게 행동하는지를 데이터로 남긴다는 일입니다. 텔타 AI 리터러시 진단이 그 데이터를 실제로 어떻게 만들어내는지 더 자세히 보고 싶으시다면, 텔타 AI 리터러시 진단 소개 페이지를 확인해 보세요!