.svg)
15장짜리 역량 진단 리포트가 서랍 속에 갇히는 이유
핵심인재 육성을 위해 많은 예산을 투입하지만, 그 결과 리포트가 실제 조직 운영 및 전략 수립에 효과적으로 활용되지는 못하는 현상. 이는 많은 HR 조직이 공통으로 직면하는 문제입니다.
이렇게 리포트가 외면받는 주요 원인은 크게 두 가지입니다.
- 데이터 신뢰도 및 객관성에 대한 구성원의 의문
- 경영진의 질문에 답하지 못하는 데이터
이는 곧 구성원의 성장을 돕고 경영진의 의사결정 파트너가 되겠다는 HR의 목표가 마주하는 현실적인 장벽이기도 합니다. 하지만 구성원과 경영진이 제기하는 이 의문은 HR 담당자의 역량이나 의지 문제가 아닙니다. 보다 근본적인 원인은 사람의 주관을 객관적 데이터로 변환하려는 기존 진단 방법론의 한계에 있죠.
이번 아티클에서는 역량 진단 리포트가 실패하는 세 가지 한계를 분석해 봅니다.
1. 역량 평가 기준과 평가자(Assessor)의 한계
핵심 인재 진단에 사용되는 BEI나 인바스켓 같은 고밀도 진단은 결국 전문 평가자(Assessor)의 해석에 의존합니다. 물론 평가자들은 전문 교육을 받습니다. 하지만 이 한계는 평가자의 전문성 문제라기보다, 사람이 채점하는 방식 자체가 가진 특징 때문입니다.
제 지인이 한 공공기관의 관리자 역량평가에 평가자로 참여했을 때의 일입니다. 급한 민원 해결보다 상부 보고를 먼저 하겠다는 답안에, 한 평가자는 4점, 다른 평가자는 2점을 줬습니다. 캘리브레이션 회의에서 두 사람은 같은 지표를 근거로 들었습니다. “상황을 적절하게 분석했는가.” 같은 답이 한 사람에게는 ‘보고 체계를 지킨 판단’으로, 다른 사람에게는 ‘급한 민원을 미룬 판단’으로 읽힌 겁니다. 결국 점수는 가장 경력이 많은 평가자의 의견 쪽으로 결정되었다고 합니다.
첫째, 평가 가이드의 딜레마
예를 들어, 평가 가이드를 만들 때 ‘상황을 적절하게 분석하고 활용했다’와 같은 평가 지표를 사용한다고 가정해 봅시다. 이때 이 ‘적절함’의 수준은 평가자마다 다를 수밖에 없습니다. 적절함의 기준을 수십 페이지의 정교한 가이드로 만들면 어떨까요? 평가자가 그 많은 기준을 모두 기억하고 적용하기는 어렵습니다. 인지 부하가 커지면, 결국 자신이 중요하다고 생각하는 기준만 골라 적용하게 됩니다.
둘째, 평가자(Assessor)가 겪는 현실적인 딜레마
사람은 경험을 통해 생각이 변화합니다. 동일한 평가자라 하더라도 몇 개월 뒤 같은 응답을 다시 채점하면 다른 점수를 부여할 수 있습니다. 게다가 비용과 일정 때문에 늘 최고 수준의 전문 평가자를 확보할 수도 없죠.
결국 HR은 ‘본질적으로 모호함을 가질 수밖에 없는 평가 가이드’와 ‘경험, 전문성이 저마다 다른 평가자’의 조합이 만든 결과를 어느 정도 타협하며 받아들여야 했던 겁니다.
이와 같은 한계 속에서는 동일한 응답도 다른 점수로 평가될 수 있습니다. 그리고 채점의 일관성이 깨지는 순간, 진단 결과는 코칭의 근거가 아니라 논쟁의 대상이 됩니다.
가장 먼저 써 본 방법은 점수별 답안 예시, 즉 앵커를 만드는 것이었습니다. 처음엔 효과가 좋았습니다. 그런데 앵커에 없는 답이 나올 때마다 예시를 추가하다 보니, 가이드라기보다 바이블이 됐습니다. 앞에서 말한 딜레마로 그대로 돌아온 겁니다. 이중 채점으로 보완하려 하자, 이번에는 비용이 문제가 됐습니다. 정확해지려 할수록 무거워지는 구조였습니다.
2. 맥락이 배제된 역량 진단 데이터의 한계
15~20장 분량의 리포트 안에는 점수, 그래프, 그리고 주관적인 코멘트가 나열되곤 합니다. 전략적 사고 2.8점이라는 결과를 제시하지만 이 점수가 진단 대상자 답변의 어디에 근거했는지, 왜 2점보다는 높고 3점에는 못 미쳤는지 구체적으로 설명하지 못합니다.
그렇기 때문에 리더도, HR도 리포트 결과를 바탕으로 구체적인 성장 가이드를 제공하기 어렵습니다. 진단 대상자가 장기적 비전 수립 능력이 부족한 것인지, 경쟁사 동향 분석 능력이 미흡한 것인지, 아니면 데이터 기반 의사결정 능력이 약한 것인지 알 수 없기 때문입니다.
이처럼 구체적인 근거와 So What에 대한 시사점이 없는 피드백은 진단 대상자 본인에게도 실질적인 도움을 주지 못합니다. 또한, 조직 단위의 육성 전략을 수립하기에도 데이터의 깊이가 부족합니다.
결국 피상적인 데이터만 관리하게 되는 상황에 이르러, 진단 결과가 당사자 본인과 소속 조직에 미치는 영향력은 미미할 수 밖에 없습니다.
많은 리포트가 ‘전략적 사고 보완 필요’ 같은 코멘트로 끝납니다. 읽는 사람은 고개를 끄덕이지만, 무엇부터 바꿔야 할지는 모릅니다. 제가 좋은 리포트를 가르는 기준은 하나입니다. 혼자 읽고 덮었을 때, 다음 주에 무엇을 다르게 할지 말할 수 있는가. 그러려면 리포트 안에 본인이 실제로 한 행동과 바로 해 볼 행동 하나가 함께 적혀 있어야 합니다. ‘전략적 사고 2.8점, 보완 필요’와 함께 다음 문구를 포함하는 겁니다. “경쟁사 가격 인하 메일에 고객 데이터 확인 없이 할인을 지시했습니다. 다음 의사결정 전에는 근거 데이터 하나부터 확인해 보세요.” 이렇게 쓰인 리포트는 혼자 읽어도 행동 지침이 되고, 면담이 잡히면 그대로 대화의 출발점이 됩니다.
3. 전사 전략에 활용하지 못하는 소수 샘플의 한계
마지막 한계는 리포트의 데이터가 경영진의 전략적 의사결정에 활용되지 못한다는 점입니다.
신뢰도 높은 BEI나 인바스켓(In-basket) 진단은 전문 평가자의 막대한 시간과 비용 투입을 전제로 합니다. 이러한 고비용 구조는 필연적으로 진단 대상을 소수의 핵심 인재로 한정시킬 수밖에 없었습니다.
소수를 대상으로 하는 진단은 육성 지원이 필요한 절대 다수 구성원에게는 기회가 제공되지 않는다는 차원을 넘어, 데이터 기반 의사결정의 실패로 이어집니다. 게다가 핵심 인재는 무작위로 뽑은 표본이 아니라 이미 한 번 걸러진 집단입니다. 이들의 데이터로는 조직 전체의 모습을 알 수 없습니다. 이에 의존해 전사 인재 전략을 수립하는 것은 통계적인 맹점을 안고 의사결정을 내리는 셈입니다.
예를 들어, 회사가 클라우드 기반 서비스로 비즈니스 전환을 결정하기 위한 논의를 시작했다면, 이때 HR은 ‘현재 우리 조직이 보유한 클라우드 관련 역량이 어느 정도인가?’라는 질문에 답할 수 있어야 합니다. 하지만 데이터가 소수의 핵심 인재에게만 집중되어 있다면 전사 데이터(Skill Map 또는 Skill Inventory)를 확보할 기회를 잃게 됩니다.
함께 읽어보면 좋은 글
제가 텔타에서 이 문제를 풀려고 한 방식
결국 진단 리포트가 실패하는 이유는 채점의 일관성 부족, 맥락이 배제된 데이터, 전사 Skill Map 확보 실패라는 세 가지 한계 때문이었습니다. 저는 이 한계를 넘을 실마리를 AI 기술에서 찾았습니다.
텔타는 이 세 가지 한계를 AI 기술로 풀어 갑니다. 사람의 해석에 의존하던 영역을 AI의 일관성 있는 평가 기준으로 보완하고, 피상적 정보가 아닌 행동의 근거를 데이터로 제시하며, 고비용 구조를 벗어나 전사 규모의 Skill Map 확보가 가능합니다.
🔗 텔타가 이 3가지 한계를 어떻게 해결하는지 궁금하시다면 지금 텔타의 Talent Assessment 리포트 콘텐츠를 읽어 보세요.
