다면평가를 설계하는데 있어서 가장 중요한 것은 점수 합산 방식과 관대화 경향입니다. 최종 점수를 합산하는 방식에서 특히 상사의 비중을 어떻게 가져갈 것인지를 정하는부분은 다면평가를 통해 구성원들이 어떤 메시지를 받을 것인지를 결정하는 중요한 문제입니다. 다면평가라고하면 가장 흔하게는 모든 평가자를 1/n하여 평균점수를 합산하는 방식이 가장 흔하게 활용되지만 상사에게 얼만큼의 가중치를 두는지에 따라서 다면평가 도입 초기에 발생하기 쉬운 리더십 훼손 효과를 최소화할 수 있기 때문에 합산 비율과 방식에 대한 고민은 반드시 필요합니다.

 관대화 경향도 단지 다면평가에서 뿐만 아니라 모든 인사평가에 있어 가장 세심하게 고려되어야 할 요소입니다. 극단적인 예를 들어보자면, 모든 평가자가 모든 항목에 대해 5점 만점에 5점으로 응답을 한다면 애당초 평가를 할 이유가 사라져 버립니다. S·A·B·C·D의5단계 척도의 절대평가를 한다고 할 때 모든 사람이 평균적으로 A 이상을 받았다면 A는 평균보다 우수함을 의미하지 않게 됩니다. 이렇게 되었을 때 가장 문제는 실제로 남들보다 높은 ‘A’나 ‘S’에 해당하는 능력을 가지고 있는 사람이 상대적으로 드러나지 않게 된다는 점입니다. 심지어 오히려 특정 분야에 전문가일수록 평가가 가혹해 지는 경향도 있기 때문에, 실제 능력은 ‘B’이지만 관대하게 평가 받아 ‘A’가 된 사람과, 실제 능력은 ‘A’이지만 가혹하게 평가를 받아 ‘B’인 사람이 존재하게 됩니다. 관대화 경향은 평가의 타당도를 무너뜨리는 오류로, 가능한 한 엄밀한 평가를 할 수 있도록 여러 장치를 사전에 고려해야만 합니다.

 다면평가에 있어 중요한 또 다른 사전 설계 요소는 ‘평가자 매칭’을 어떻게 할 것인지에 대한 문제로, 이는 크게 세 가지로 나눠 생각해 볼 수 있습니다.

<다면평가 평가자 매칭 설계의 3요소 : 피평가자 범위>

 피평가자의 범위를 결정하는 부분은 어디까지나 회사 내부의 필요에 따라 정하면 됩니다. 다만 이 때 다면평가를 주로 어디에 활용할 것인지는 당연히 고려할 요소인 반면, 흔히 사전에 잘 생각하지 못하는 부분은 기존의 역량평가를 다면평가로 얼마나 대체할 것인가의 문제입니다. 예를 들어 기존에는 역량평가가 신뢰도/타당도가 낮다는 이유로 사실상 그 데이터를 인사의 여러 장면에서 전혀 안 쓰고 있는 등 역량평가가 없었거나 있더라도 유명무실 해서 다면평가로 역량평가를 대체할 용도라면 그 범위를 사원, 대리까지도 넓혀 최대한으로 고려해 볼 필요도 있습니다. 동시에 다면평가에 드는 자원도 고려해봐야 하는데 다면평가에 필요한 시스템 개발이나 도입비용처럼 명시적인 비용도 중요하지만, 일반적인 역량평가 방식에서는 직책자만이 구성원들을 평가하는 데 비해 다면평가에서는 구성원들도 서로 평가를 해야 함으로 많은 구성원의 시간 투입이라는 재기 힘든 자원이 상당히 소모된다는 것도 함께 고려할 필요가 있습니다. 또한 다면평가의 목적이 주로는 리더의 변화라면, 예를 들어 단계적으로 리더들을 먼저 대상으로 도입한 후 확대 고려하는 것도 방법입니다. 한편 앞서 이야기 한 역량평가를 사실상 대체하기 위한 용도로 활용하고자 한다면, 그보다는 조금 더 확대된 범위로서 통상적인 리더가 될 수 있는 최소 직급인 과장 이상 정도를 고려하는 것이 바람직합니다.

<다면평가 평가자 매칭 설계의 3요소 : 평가자의 규모>

 한 명의 피평가자에 대해 몇 명의 평가자가 필요한지도 정해야 합니다. 보통 다면평가에서 평가자는 5~10명 정도로 정합니다. 이에 대해서는 관련 연구들을 참고할 필요가 있습니다. 평가자 수가 3명이하로 너무 적으면 평가자 간 오차가 커지고 한 명의 평가자가 가지고 있는 편견이나 관대화, 가혹화 경향의 영향을 비교적 많이 받게 됩니다. 평가자 규모에 대한 연구 결과들을 참조하면 인원 수 대비 가장 효율적인 평가자 수 규모는 ‘7명 이상’으로 볼 수 있습니다. 평가자가 9명, 10명이 넘어가도 평가의 신뢰도나 타당도는 평균적으로 크게 개선되지 않는다는 관련 연구들과, 평가자 수가 지나치게 많이 책정되면 그만큼 구성원들의 시간 자원 낭비가 될 수 있다는 점을 고려하면 다면평가의 평가자 수는 7~8명이 가장 적정하며 최소 4명 이상은 필요하다는 것을 알 수 있습니다. 물론 상사의 경우 1~2명 밖에는 매칭이 안될 수 있습니다만, 이는 역량평가에서도 동일하게 밖에는 구성되지 않는 부분으로 불가피하며 전체 평가자는 최소 7~8명 이상으로 구성하는 것이 좋습니다.

<다면평가 평가자 매칭 설계의 3요소 : 피평가자 - 평가자 매칭방식>

 또한 평가자에 대해 고려해야 할 또 다른 중요 사항은 ‘평가자 매칭’ 방식입니다. 사전에 아무리 피평가자와 평가자를 잘 매칭하였더라도, 막상 다면평가를 실제 운영해 보면 구성원들로부터 가장 많이 듣게 되는 이야기 중 하나는 ‘나는 이 사람을 평가할 만큼은 잘 모르는데요?’입니다. 평가자 매칭은 그만큼 신중하고 세심하게 설계해야 할 부분으로, 자칫 평가자를 아무나 적당히 설정하게 되면 단지 몇 명의 평가가 타당하지 않게 되는 것 뿐 아니라, 다면평가 자체에 대한 구성원들의 신뢰도가 떨어져 버리는 문제가 있기 때문에, 사전 설계가 중요합니다.

 평가자 매칭 시 고려할 것은 조직의 규모와 피평가자의 수입니다.

 예를 들어 회사의 구성원이 100명~150명 정도로 대부분이 서로 안면이 있을 정도의 규모이거나, 피평가자의 수가 역시 인사팀에서 대다수를 파악할 수 있을 정도인 100명 내외의 규모라면 업무의 효율을 위해 인사팀에서 모든 평가자를 매칭한 후 경영진 또는 임원단의 검증 정도를 받는 것도 하나의 방법이 될 수는 있습니다. 다만 회사구성원 자체가 1,000명 이상의 비교적 단위가 큰 조직이거나, 예를 들어 대리급 이상 전직원으로 설정하여 전체 200~300명 이상의 피평가자가 있는 상황이라면 인사팀이 모든 평가자를 설정하고 매칭하는 것이 실질적으로 가능하지도 않을뿐더러 바람직하지도 않습니다. 이 경우는 일차적으로 피평가자의 상위 직책자가 평가자를 매칭하고 이를 인사팀 또는 외부 전문가를 통해 검증하는 것이 바람직합니다.

 구성원들이 누구와 어떻게 일을 하고 있는지를 가장 잘 아는 사람은 역시 구성원들의 직책자일 수 있습니다. 다만 직책자가 평가자를 100% 정하게 되면, 비교적 좁은 범위의 현재 당면한 업무 유관자만 설정되는 경향이 있을 수 있어 인사팀에서도 함께 검토하여 정할 필요가 있습니다. 특히 최근에 이동을 했거나 어떤 직무 상의 이슈가 있는 피평가자 들을 HR에서 조금 더 신경써서 이전에 누구와 일을 했는지 등을 검토하며 매칭을 조정할 필요가 있습니다. 필요하다면 외부 전문가의 도움을 받아 전체적인 매칭이 타당한지를 검증받는 것도 도움이 될 수 있습니다만, 외부 전문가는 당연히 내부 직원 간의 업무 관계를 모르니 내용의 타당도를 검증할 수는 없습니다. 그러나 구조적으로 매칭이 잘 되었는지를 함께 판단할 수 있습니다. 구성원들 입장에서는 내 팀장이 나의 평가자를 100% 정해서 확정하는 구조라고 할 때 팀장과의 관계가 좋지 않거나 팀장의 평가 능력, 업무 능력에 대한 신뢰도가 낮을 때는 평가자 또한 나에게 불리하거나 정확한 매칭을 하지 못했을 것이라고 생각하는 경향마저 생기게 됩니다. 이를 어느 정도 보완하기 위해서라도 대상 규모가 클 때 평가자는 일차적으로는 상위 직책자가 설정해야겠지만 그렇다고 모든 것을 직책자에게 맡긴 후 조정하지 않거나 조정한 결과를 모두 공지하는 것도 바람직하지 않을 수 있습니다.

 만약 어느 정도 다면평가가 안착되어 몇 회 이상 실행이 되었거나, 혹은 직책자들에 대한 불신이 현재 기준으로 지나치게 심각하게 저조하거나, 반대로 전체 구성원들이 충분히 이성적으로 건실하게 평소 평가에 대한 문화가 잡혀져 있는 상황이라면, 본인의 평가자를 본인이 1차적으로 설정하게 하는 것도 하나의 방법입니다. 이 경우 다면평가 제도나 나온 결과에 대한 본인의 수용도가 매우 올라가는 장점이 있기 때문에 충분히 고려해봄직한 방법입니다.

 다만 문제는 다면평가나 평가에 대한 조직문화가 충분히 안착되어져 있지 않은 상황에서 일단 본인들을 누가 평가할 지 정하도록 하면, 구성원 간에 암묵적인 사인이 오고가는 현상이 쉽게 생길 수 있음을 고려해야 합니다. 소위 ‘내가 너의 점수를 좋게 줄테니, 너도 나의 점수를 좋게 줘’ 등 암묵적인 카르텔이 생길 수도 있습니다. 이런 현상이 한 번 생기기 시작하면 외려 그렇게 규칙을 어기지 않은 다른 모든 사람들이 다면평가 제도와 산출된 점수를 믿지 않게 되어버립니다. 이러한 상황까지 와 버리면 일반적인 역량평가에서 상사가 관대하게 평가하는 것보다 더 심각한 문제일 수 있습니다. 자원은 투입했는데 효과는 오히려 떨어질 수 있으니까요.

 따라서 본인이 본인의 평가자를 일차적으로 설정할 때는, 반드시 본인의 상사나 상위 직책자, HR 또는 외부전문가의 검토를 단계적으로 거쳐서, 최종 확정된 평가자는 본인이 모르도록 하는 것이 좋습니다. 특히 이 때에는 충분히 자신할만큼 평가에 대한 문화가 잡혀져 있다는 신호가 없다면 평가자가 누구인지에 대한 최종 정보를 개인에게 공개하지 않는 것을 고려해야 합니다. 다면평가 시 평가자를 찾아내거나 소위 색출하는 정도의 문화가 남아 있는 조직이라면 더욱이 본인을 누가 평가했는지에 대한 최종적인 정보는 개인에게 공개하지 않는 것이 바람직합니다. 이렇게 본인의 평가자를 본인이 설정하는 것에는 장·단점이 뚜렷하기 때문에 신중하게 도입할 필요가 있습니다. 그래서 본인의 평가자가 아닌, 본인이 최근 1~2년간 주로 누구와 일했는지 업무 접점 우선 순위를 최대 7~8명 적도록 하고, 이를 참조하여 상위 직책자가 1차 평가자 설정, HR에서 2차 조정, 외부전문기관에서 최종 검토 및 확정하는 설정/검토 단계를 만들어 두는 것도 좋은 방법일 수 있습니다.

 다면 평가는 설계가 비교적 까다롭게 생각해야 할 사전 요소들도 많은 편이며, 사내/외 자원도 적지 않게 들어갑니다. 그럼에도 불구하고 다면 평가는 세심하게 설계만 된다면 일반적인 방식의 역량평가나 심지어 성과평가보다도 공신력을 가지게 됩니다. HR에서 보통 저성과자나 한계역량을 설정해 본 경험이 있는 담당자라면 이 부분에 크게 공감할 수 있을 것입니다. 절대평가이건, 상대평가이건, 성과 평가이건 역량 평가이건 일반적인 평가의 결과를 가지고 구성원의 역량이나 성과를 재단할 때 가장 문제가 되는 부분은 결국 그것이 어떤 소수의 다른 사람, 주로 상사 한두 명에 의해 그러한 결과를 받았다는 점에서 객관성을 의심받기 쉽습니다. 그래서 여러 번의 기회에도 불구하고 지속적으로 유사한 성격의 평가가 쌓일 때나, 다면 평가처럼 단지 상사 한두 명의 평가 만이 아닌 여러 사람의 결과에서 일관성이 나타날 때 사회과확에서 이야기하는 ‘외적 신뢰도’ 또는 보다 흔한 표현으로는 ‘객관성’이 쌓이게 됩니다.

 다면 평가에서 실질적으로 구성원들에게 가장 중요하게 여겨지는 설계 요소라고 하면, 역시 이번에 다룬 평가자 매칭의 문제입니다. 거꾸로 평가자 매칭에서 범위, 규모, 평가자 매칭 방식만 합리성 있게 사전에 고려되고 이를 구성원들과 충분히 커뮤니케이션 할 수 있다면, 다른 부분의 준비가 다소는 부족하더라도 구성원들은 다면 평가 제도에서 어느 정도의 절차적 공정성을 느낄 수 있게 됩니다.