위험: 모델, 편향, 군집행동과 사기
금융서비스에서 인공지능의 위험은 감독당국과 문헌이 확인한 여러 범주로 나뉜다. 모델 위험은 그중 가장 오래된 것이다. 모든 모델은 현실을 단순화하며, 조건이 변하면 작동하지 않을 수 있다. 머신러닝 모델은 미래에는 유지되지 않을 수 있는 과거 데이터의 패턴을 학습하므로 특히 이 위험에 노출된다. 대형 모델은 복잡하기 때문에, 은행이 2000년대부터 통계 모델을 검증해 온 방식으로 이를 검증하기가 어렵다.1
편향과 차별은 두 번째 범주를 이룬다. 과거의 결정으로 학습된 신용 모델은 보호되는 특성을 직접 사용하지 않더라도 특정 집단에 대한 불이익을 포함하여 그 결정들의 패턴을 재생산할 수 있다. 스위스 법에는 사인 간 차별에 대한 일반적 금지 규정이 없으나, 「스위스 민법」(ZGB) 제28조에 따른 인격권 보호와 개별 법률이 일정한 보호를 제공한다. 스위스 금융시장감독청(FINMA)의 지침은 평등 대우를 주의 영역의 하나로 열거하며, 「EU AI법」은 고위험 시스템에 대한 데이터 거버넌스 요건을 통해 이 문제를 다룬다.2 설명 가능성은 이와 밀접하게 관련된다. 모델이 왜 대출 신청을 거절하였는지 또는 왜 거래를 의심 거래로 표시하였는지 설명하지 못하면, 고객은 그 결정에 이의를 제기할 수 없고 기관은 자신이 적법하게 행위하였음을 입증할 수 없다.
금융 안정은 바젤에 소재한 기관들의 관심사이다. 다수의 시장 참여자가 유사한 데이터로 학습된 유사한 모델을 사용하면 그들의 결정이 서로 상관관계를 갖게 되어 시장 변동을 증폭시키고 시장의 유동성을 유지하는 견해의 다양성을 줄일 수 있다. Gary Gensler는 미국 증권거래위원회 위원장이 되기 전인 2020년 Lily Bailey와 함께 쓴 논문에서 이러한 쏠림 위험을 서술하였다. 이들은 딥러닝이 획일성, 네트워크 상호연결성, 규제 공백을 통해 시스템 위험을 증대시킬 수 있다고 주장하였다.3 금융안정위원회(FSB)는 여기에 모델, 클라우드 서비스, 반도체의 소수 제공자로의 집중을 추가하였는데, 이는 금융 시스템에 단일 장애점을 만든다.4
사이버 위험과 사기는 기술과 함께 커졌다. 공격자들은 언어모델을 이용하여 스위스 독일어를 포함한 모든 언어로 설득력 있는 피싱 메시지를 작성하고 소프트웨어의 취약점을 찾아낸다. 음성 복제와 영상 딥페이크로 범죄자들은 경영진, 고객 또는 친척을 사칭할 수 있다. 2024년 널리 보도된 사건에서 엔지니어링 회사 Arup의 홍콩 직원은 화상회의 후 약 2,500만 달러를 송금하였는데, 그 회의에서 최고재무책임자로 보였던 인물을 포함한 다른 참석자들은 모두 인공지능이 생성한 것이었다.5 2024년 연방 사이버보안청이 된 국가사이버보안센터는 스위스에서 이러한 시도가 증가하고 있다고 보고하였다.6 은행과 그 고객에게 이는 화면 속의 목소리나 얼굴이 더 이상 신원을 증명하지 못한다는 것을 의미한다. 따라서 지급 지시는 별도의 경로를 통한 독립적 검증을 요한다.
주석
- 모델 위험 관리에 관하여는 국제적으로 실무에 영향을 미친 미국 연방준비제도와 통화감독청(OCC)의 감독 지침 SR 11-7, Guidance on Model Risk Management, 2011년 4월 참조. ↩
- 「스위스 민법」(ZGB, SR 210) 제28조; FINMA 지침 08/2024; 데이터 및 데이터 거버넌스에 관한 「규칙(EU) 2024/1689」 제10조. ↩
- Gary Gensler and Lily Bailey, “Deep Learning and Financial Stability”, 워킹페이퍼, MIT, 2020년 11월. ↩
- Financial Stability Board, The Financial Stability Implications of Artificial Intelligence, 2024년 11월 14일, 제3자 의존성 및 시장 상관관계에 관한 절. ↩
- Arup 홍콩 사무소를 상대로 한 딥페이크 사기에 관한 홍콩 경찰의 발표와 2024년 2월 및 5월의 국제 언론 보도. ↩
- 연방 사이버보안청(BACS), 2024년 이후 사기 및 딥페이크에 관한 반기 보고서와 주간 리뷰. ↩
일반적인 정보 제공만을 목적으로 합니다. 이 글은 법률 또는 세무 자문에 해당하지 않으며, 개별 사안에 대한 자문을 대체하지 않고, 변호사와 의뢰인 간의 위임 관계를 성립시키지 않습니다. 이 글은 2026년 10월 기준의 법적 상황을 반영합니다.