.svg)
2026년 1월, 국내 유수 기업들의 신년사에서 가장 많이 등장한 키워드는 AI, AX였습니다. 실제로 텔타가 만나는 고객사의 HRD 부서는 모두 임직원 대상 AI 교육 프로그램을 제공하고 있습니다. 사외 강사를 초빙하고, LMS에 교육 콘텐츠를 업로드하고, 프롬프트 워크숍을 운영하는 식이죠. 그리고 분기 보고에는 보통 이런 지표가 적힌 슬라이드가 띄워집니다.
- 수료율 92%
- 평균 만족도 4.6 / 5.0
문제 없어 보이지만, 정작 가장 중요한 질문에는 답하지 못하는 슬라이드입니다. “우리 조직의 AI 역량은 정말로 향상 되었는가?”
이건 비단 한 회사만의 문제가 아닙니다. Gartner가 2026년 4월 발표한 AI Infrastructure & Operations ROI 조사에 따르면, 기업의 AI 인프라 프로젝트 중 ROI를 완전히 달성한 비율은 28%에 그쳤습니다. 5건 중 1건은 완전한 실패로 볼 수 있고, 이를 경험한 리더의 57%가 실패의 가장 큰 원인으로 비현실적 기대를 꼽았죠.
AI 투자 규모가 빠르게 늘어나는 만큼, 그 효과를 데이터로 설명해야 할 부담도 함께 커지고 있는 겁니다. 하지만 HRD 부서가 들고 있는 지표는 여전히 만족도와 수료율입니다. 이유는 단순합니다. 지금까지 우리는 교육의 효과가 아니라 교육의 참여도를 측정해 왔기 때문입니다.
AI 교육의 효과를 알 수 없는 지표, 이수율과 만족도
HR 분야에서 가장 오래 쓰이고 있는 교육 평가 모델인 커크패트릭(Kirkpatrick) 4단계 모형은 교육의 효과를 네 개 층위로 봅니다.
- Level 1. 반응(Reaction) : 학습자가 교육에 만족했는가
- Level 2. 학습(Learning) : 학습자가 무엇을 배웠는가
- Level 3. 행동(Behavior) : 학습자가 실제 업무에서 행동을 바꿨는가
- Level 4. 결과(Results) : 조직 성과가 변했는가
문제는 많은 조직이 Level 1에 머물러 있다는 겁니다. Level 1을 지나 행동 변화나 비즈니스 성과에 가까워 질수록 효과 측정은 어려워지죠.
우리가 보는 이수율은 교육 과정을 정해진 기준까지 완료한 학습자의 비율을 의미하고, 만족도는 학습자가 매긴 만족도의 평균값 입니다. 두 지표 모두 참여 수준을 보여줄 뿐, 학습자의 변화에 대해서는 단 한 줄도 말해주지 않습니다.
같은 강의를 수료해도 학습자마다 다른 AI 활용 수준
영국의 경제학자 찰스 굿하트는 "측정하면 그것이 목표가 된다"고 말했습니다. 수료율을 KPI로 측정하기 시작하면 수료율을 올리는 데 최적화된 교육이 설계됩니다. 콘텐츠는 짧아지고, 퀴즈는 통과 가능한 수준으로 바뀌죠. 수료율을 지표로 보는 교육과 구성원의 역량을 향상시키도록 설계된 교육은 목표부터 다르고, 당연히 같은 결과를 보장하지 않습니다.
특히 AI 역량은 단순한 지식 암기가 아닙니다. 어떤 업무에 AI를 적용할지 판단하고, 도구를 골라 쓰고, 결과를 검증하고, 그 결과물을 비즈니스 맥락에 녹이는 복합 역량입니다.
같은 ChatGPT 입문 강의를 두 명이 똑같이 수료해도 한 명은 매주 보고서 초안을 30분 만에 만들어내고, 한 명은 여전히 오랜 시간을 들여 손으로 쓰고 있는 일이 흔합니다. 같은 수료율 100%지만, 전혀 다른 활용 수준을 보이죠.
즉, 수료율은 이 두 학습자를 구분하지 못합니다. 두 사람이 실제 업무에서 AI를 어느 수준으로 적용하고 있는지, 그 차이를 식별할 수 있는 정보가 수료율이라는 지표 안에는 들어 있지 않으니까요.
AI 교육 효과를 알기 위해서는 무엇을 봐야 할까
AI 교육 운영을 책임지고 있는 HRD 담당자들은 늘 이런 고민을 가지고 있습니다. “교육이 구성원의 AI 활용 역량을 실제로 끌어올리고 있을까?”, “다음 분기에는 무엇을 어떻게 다르게 설계해야 할까?” 이 질문에 답하려면 학습자의 변화를 보여주는 데이터가 필요합니다.
Gartner가 2026년 4월 발표한 Successful AI = 4x More Investment in Foundations 분석은, AI 성과를 내는 조직과 그렇지 않은 조직의 가장 큰 차이로 데이터 품질, 거버넌스, AI 인재, 변화관리 같은 기초 영역 투자를 꼽았습니다. 성과를 내는 조직은 이 영역에 매출 대비 최대 4배를 더 투자하고 있죠. 즉, 데이터·사람·조직 문화 같은 기초 환경이 AX 성과를 가른다고 말합니다.
핵심은 결국 사람의 데이터가 필요하다는 것입니다. 어느 직군의 AI 역량 갭이 가장 크게 벌어져 있는지, 어떤 교육이 실제로 역량을 끌어올렸는지, 다음 분기 한정된 교육 자원을 어디에 우선 투입해야 하는지. 이 질문에 답할 수 있는 데이터가 확보되어야 HRD의 일은 콘텐츠를 운영하는 일에서 구성원의 변화를 설계하는 일로 이동할 수 있습니다.
기업 AI 교육, 이제 역량의 변화를 봐야 할 차례
만족도와 수료율은 그대로 유지해도 됩니다. 교육 운영을 점검하는 지표로서는 충분한 의미를 가지니까요. 다만 KPI는 다른 지표를 봐야 합니다. 구성원이 교육 전과 비교해 무엇이 어떻게 달라졌는지를 보여주는 지표를 측정해야 합니다.
사전 진단으로 구성원의 출발선을 측정하고, 교육을 거쳐, 사후 진단으로 변화 정도를 비교하는 사이클을 시작해야 합니다.
진단을 사이클로 돌리기 시작하면 그동안 보이지 않던 것들이 보입니다. 어떤 직무에서 가장 큰 변화가 있었는지, 어떤 콘텐츠가 실제로 역량을 바꿨는지, 다음 분기 교육의 우선순위는 누구인지 등, HRD가 다음 교육을 감이 아닌 데이터로 설계할 수 있게 되는 거죠.
여기까지 도달하면 자연스럽게 이 질문이 따라옵니다. 그래서 구성원들의 AI 역량은 정확히 무엇을, 어떻게 측정해야 할까요? 다음 아티클에서 이 질문에 대한 답을 다뤄보겠습니다.
👉 2편 : 기업의 AI 역량, 무엇을 측정해야 할까요? 읽어보기
