[논문 리뷰] 왜 인간과 AI의 협업이 기대만큼 성과를 내지 못하는가?(Hemmer et al.,2025)

1. 논문 핵심 요약

서론: 인간과 AI의 시너지는 왜 어려운가

인공지능의 발전에도 불구하고 인간과 AI가 팀을 이루었을 때 각자의 성과보다 더 나은 결과를 내는 상보적 팀 성과(CTP)는 현실에서 쉽게 관찰되지 않습니다. 본 연구는 이러한 간극을 줄이기 위해 인간과 AI가 서로를 어떻게 보완할 수 있는지 그 원천을 이론적으로 정의하고 실증적으로 검증하고자 했습니다.

 

방법론: 상보성의 두 가지 원천

연구진은 상보성이 발생하는 근거를 두 가지 비대칭성으로 구분했습니다. 첫째는 정보 비대칭으로 인간과 AI가 서로 다른 정보원에 접근할 때 발생합니다. 둘째는 능력 비대칭으로 같은 정보를 보더라도 이를 처리하는 사고 방식이나 계산 능력이 다를 때 나타납니다. 이를 확인하기 위해 부동산 가치 평가와 이미지 분류라는 두 가지 실험을 수행했습니다.

 

1. 정보 및 능력 비대칭의 측정 방법

논문은 인간과 AI의 차이를 입력(Input), 처리(Processing), 출력(Output) 모델로 구조화하여 측정하였습니다.

정보 비대칭 (Information Asymmetry)

• 정의: 인간과 AI가 의사결정을 위해 사용하는 정보 집합($I$)이 서로 얼마나 다른가를 의미합니다.
• 측정 및 설계: 실험 1(부동산 가치 평가)에서는 정보의 종류를 의도적으로 다르게 배분하여 측정하였습니다. AI에게는 수치 데이터(정형 데이터)만 제공하고, 인간에게는 해당 부동산의 사진(비정형 데이터)을 추가로 제공하는 방식으로 두 주체 간의 정보 차이를 수치화하고 제어하였습니다.

능력 비대칭 (Capability Asymmetry)

• 정의: 동일한 정보를 가지고 있더라도 이를 처리하는 방식($P$)의 차이로 인해 발생하는 성능의 다름을 의미합니다.
• 측정 및 설계: 실험 2(이미지 분류)에서는 동일한 데이터를 보더라도 서로 다른 방식으로 학습된 AI 모델(CNN, MLP 등)을 활용하였습니다. 인간과 AI가 범하는 오류의 상관관계(Error Correlation)를 분석하여, 서로 다른 종류의 문제에서 틀릴수록 능력 비대칭이 높다고 판단합니다. 즉, AI가 잘 못 맞추는 문제를 인간이 맞출 수 있는 영역이 얼마나 되는지가 측정의 핵심입니다.

2. 성과 측정 지표 (CP와 CE의 공식화)

논문은 협업의 성과를 단순한 정확도를 넘어 잠재력과 실제 효과로 나누어 공식화하였습니다.

상보성 잠재력 (Complementarity Potential, CP)

• 측정법: 인간($D_H$) 또는 AI($D_{AI}$) 중 최소한 한 쪽이라도 정답($Y$)을 맞춘 사례의 비율로 계산합니다.
• 의미: 팀이 완벽하게 협업하여 둘 중 정답을 아는 사람의 의견을 항상 선택한다고 가정했을 때의 이론적 최대 성과입니다.

상보성 실현 효과 (Complementary Effect, CE)

• 측정법: 실제 협업을 통해 나온 팀의 성과($P_{Team}$)에서 인간과 AI의 개별 성과 중 높은 쪽($\max(P_H, P_{AI})$)을 뺀 값으로 측정합니다.
• 의미: AI를 도입함으로써 기존의 가장 우수한 단일 주체보다 실제로 얼마나 더 나은 성과를 냈는지를 보여주는 실질적인 개선 지표입니다.

3. 측정 지표 요약 표

측정 항목	주요 측정 기준 및 방법	비고
정보 비대칭 (IA)	제공되는 정보 집합($I_H$ vs $I_{AI}$)의 차이	사진 vs 수치 데이터 등 정보원 분리
능력 비대칭 (CA)	오류 상관관계 및 처리 모델의 차이	서로 다른 유형의 문제에서 정답 여부 확인
잠재 성과 (CP)	$\text{Correct}(H) \cup \text{Correct}(AI)$	이론적 시너지의 상한선
실현 성과 (CE)	$\text{Accuracy}(Team) - \text{Accuracy}(Best Individual)$	실제 달성된 시너지의 크기

 

결과: 비대칭성이 성과를 만든다

실험 결과, 인간과 AI 사이에 정보나 능력의 차이가 존재할 때 상보적 성과를 낼 가능성이 높아졌습니다. 즉 서로가 가진 자원의 중복이 적을수록 협업을 통한 성과 향상 폭이 컸습니다. 하지만 실제 성과가 이론적 잠재력만큼 발휘되지 못하는 모습도 함께 관찰되었습니다.

 

시사점: 설계의 중요성

단순히 성능이 좋은 AI를 도입하는 것보다 인간과 AI가 서로의 부족한 부분을 메울 수 있도록 역할과 정보 접근 권한을 설계하는 것이 중요합니다. 이는 AI 시스템 개발 단계부터 인간과의 차별성을 고려해야 함을 의미합니다.

1. 상보성 핵심 개념: CP와 CE

본 논문에서 제시하는 핵심 지표인 CP와 CE는 다음과 같이 정의됩니다.

상보성 잠재력(Complementarity Potential, CP)

인간과 AI가 결합했을 때 이론적으로 도달할 수 있는 최대 성과의 수치를 말합니다. 이는 두 주체가 가진 정보나 능력의 차이가 클수록 높아집니다. 쉽게 말해 두 존재가 힘을 합쳤을 때 낼 수 있는 이상적인 시너지의 크기입니다.

상보성 실현 효과(Complementary Effect, CE)

실제 협업 과정에서 인간이 AI의 도움을 받아 달성한 구체적인 성과 향상 정도를 의미합니다. 현실에서는 인간의 편향이나 AI에 대한 불신 혹은 과신 등으로 인해 CE가 CP보다 낮게 나타나는 경우가 많습니다.

1. 주요 내용 요약 표

구분	정보 비대칭 (Information Asymmetry)	능력 비대칭 (Capability Asymmetry)
핵심 정의	인간과 AI가 활용하는 데이터 소스 자체가 다름	동일한 데이터를 처리하는 방식과 지능의 특성이 다름
상보성 원천	서로 보완적인 데이터의 결합	분석적 처리(AI)와 직관적/맥락적 판단(인간)의 결합
실험 사례	부동산 가치 평가 (AI는 수치, 인간은 사진 확인)	이미지 분류 (AI와 인간의 패턴 인식 방식 차이)
성과 영향	서로 모르는 정보를 채워줄 때 CP 상승	서로 다른 방식으로 오류를 범할 때 CP 상승

 

HR 실무와의 연계점

 

직무 분석 및 재설계

전통적인 직무 분석을 넘어 AI와 인간이 각자 어떤 비대칭적 강점을 가질 수 있는지 파악해야 합니다. AI는 정형 데이터 분석에 집중하고 인간은 비정형 정보나 감정적 맥락을 다루도록 직무를 분절하고 재구성하는 과정이 필요합니다.

 

역량 개발 및 교육 (L&D)

직원들에게 AI 사용법만 가르치는 것이 아니라 AI가 가진 한계를 이해하고 인간의 능력을 언제 개입시켜야 하는지를 결정하는 판단력을 길러주어야 합니다. 이는 실제 성과(CE)를 잠재력(CP) 수준으로 끌어올리는 핵심 역량이 됩니다.

 

채용 및 선발 기준의 변화

단순히 기술적 숙련도가 높은 사람보다 AI의 결과물을 비판적으로 수용하고 자신의 고유한 정보나 능력을 결합해 최적의 의사결정을 내릴 수 있는 협업 역량을 중요한 선발 기준으로 삼아야 합니다.

1. 향후 연구 방향

상보성 실현 저해 요인 탐색

이론적인 잠재력(CP)이 실제 성과(CE)로 이어지지 못하게 만드는 심리적, 조직적 방해 요인이 무엇인지에 대한 심층적인 연구가 필요합니다. 특히 인간의 AI에 대한 신뢰 수준이 성과에 미치는 영향에 주목해야 합니다.

 

최적의 협업 인터페이스 설계

AI가 정보를 제공하는 방식(설명 가능성, 확신도 표시 등)이 인간의 상보적 판단에 어떤 영향을 주는지 연구함으로써 시너지를 극대화하는 사용자 경험(UX) 디자인 원칙을 도출해야 합니다.

 

장기적 관점의 역동성 연구

시간이 흐름에 따라 인간이 AI에 익숙해지거나 혹은 인간의 능력이 퇴화할 때 초기 설계된 상보성이 어떻게 변화하는지에 대한 종단적 연구가 필요합니다. 이를 통해 지속 가능한 인간-AI 공생 모델을 정립할 수 있습니다.

 

참고문헌 (Reference List)

Hemmer, P., Schemmer, M., Kühl, N., Vössing, M., & Satzger, G. (2025). Complementarity in human-AI collaboration: Concept, sources, and evidence. European Journal of Information Systems. https://doi.org/10.1080/0960085X.2025.2475962