IDSIA: 1988년 이래 루가노의 인공지능

Angelo Dalle Molle와 그의 연구소들

이 장에서 다루는 연구기관 가운데 가장 오래된 곳은 주(칸톤)에 대학이 생기기 8년 전에 한 민간 후원자에 의해 설립되었다. Angelo Dalle Molle(1908– 2002)는 베네토 출신의 이탈리아 기업가로, 아티초크 리큐어 Cynar로 재산을 모았고 그 상당 부분을 삶의 질 및 인간과 기계의 관계에 관한 연구를 장려하는 데 바쳤다.¹ 그는 전통적인 대학 구조 밖에서 연구에 재원을 지원하기 위해 스위스에 신탁을 설정하고, 루가노의 IDSIA, 마르티니의 IDIAP, 제네바의 ISSCo라는 세 개의 연구소를 설립했다. 세 연구소는 모두 오늘날 각 지역의 학술기관에 통합되어 있다.² Istituto Dalle Molle di studi sull'intelligenza artificiale(IDSIA, Dalle Molle 인공지능연구소)는 1988년 루가노에서 설립되었다. 연구소의 표현에 따르면 Dalle Molle는 “기술 진보와 인간 발전이 함께 삶의 질을 높이는 세상을 구상했다”.³ 2023년 9월 연구소 설립 35주년 기념행사에서 그의 비전은, 사람들이 더 이상 이진 코드로 컴퓨터와 소통할 필요가 없도록 기계가 인간을 이해해야 한다는 목표로 요약되었다.⁴ IDSIA는 Dalle Molle 재단이 재원을 대는 민간 연구소로 출발했다. 2000년에는 이탈리아어권 스위스 대학교(USI)와 이탈리아어권 스위스 응용과학대학(SUPSI) 양쪽에 소속된 공공 연구기관이 되었다. 그 이후 IDSIA는 두 기관 사이의 “가교” 역할을 하면서 “기초연구에서 응용연구까지” 수행하고 그 지식을 실제 응용으로 이전해 왔다.⁵ 연구소는 루가노-비가넬로에 있는 USI와 SUPSI의 동부 캠퍼스(East Campus)에 자리하고 있다. 2023년 연구소의 인원은 130명이었다. 연구소는 소장 Andrea Emilio Rizzoli와 세 명의 학술 책임자인 Jürgen Schmidhuber, Marco Zaffalon, Cesare Alippi가 이끌었다.⁶ 연구소의 연구 분야는 기계학습, 신경망, 로봇공학, 컴퓨터 비전, 확률적 추론, 최적화, 계산수학, 사이버보안 및 인간-컴퓨터 상호작용을 포괄한다.⁷

장단기 메모리(LSTM)와 딥러닝의 역사

IDSIA의 학문적 명성은 무엇보다 Jürgen Schmidhuber와 그의 연구팀이 수행한 순환신경망 연구에 기반한다. 1997년 Sepp Hochreiter와 Jürgen Schmidhuber는 학술지 Neural Computation에 논문 “Long Short-Term Memory”를 발표했다. 이 논문은 메모리 셀과 게이트를 갖추어 긴 데이터 시퀀스에 걸친 의존관계를 학습할 수 있는 순환신경망 구조를 제시했다. 이는 기존의 순환신경망이 해결하지 못한 문제였는데, 학습에 사용되는 오차 신호가 시간이 지남에 따라 소실되거나 폭발했기 때문이다.⁸ Hochreiter는 1991년 뮌헨공과대학교에서 작성한 학위논문(Diplomarbeit)에서 기울기 소실 문제에 대한 분석을 전개했으며, 당시 Schmidhuber가 그의 지도교수였다. LSTM 구조는 이후 몇 년 동안 IDSIA에서 Felix Gers, Alex Graves 등 Schmidhuber의 박사과정생과 공동연구자들에 의해 개선되었다. 이들은 “망각 게이트(forget gate)”를 추가하고 시퀀스 레이블링을 위한 학습 방법을 개발했다.⁹

실용적인 돌파구는 2000년대 후반에 나타났다. Schmidhuber 자신의 설명에 따르면, 그의 팀이 개발한 연결주의 시간 분류(connectionist temporal classification) 방법으로 학습시킨 LSTM은 2009년 연결 필기체 인식 분야에서 국제 패턴인식 대회에서 우승한 최초의 순환신경망이 되었다. 2011년에는 그래픽 프로세서로 학습시킨 그의 팀의 심층 순방향 신경망 DanNet이 컴퓨터 비전 대회에서 우승한 최초의 이 유형의 신경망이 되었고, 교통표지판 인식 대회에서 연구팀이 초인적 성능이라고 표현한 결과를 달성했다. 2015년 5월 연구팀은 수백 개의 층을 가진 초심층 순방향 신경망인 Highway Network를 발표했다. Schmidhuber의 설명에 따르면, 2015년 12월 Microsoft 연구진이 발표한 잔차 신경망(ResNet)은 그 게이트가 열린(open-gated) 형태이다.¹⁰ 2009년부터 2012년까지 이 연구소에서 개발된 신경망은 패턴인식 및 기계학습 분야의 국제 대회에서 여덟 차례 우승했다.¹¹

LSTM은 2010년대에 가장 널리 사용된 신경망 구조 중 하나가 되었다. Schmidhuber의 웹페이지는 Android 스마트폰의 음성인식, Google 번역과 Facebook의 기계번역, Apple의 Siri와 QuickType, 그리고 Amazon Alexa의 응답에 LSTM이 사용되었다고 소개한다.¹² 이러한 주장은 해당 방법의 개발자 본인에게서 나온 것이다. 다만 이는 관련 기업들의 발표 내용과 부합한다. 이들 기업은 2017년에 도입된 트랜스포머 구조가 대부분의 언어 응용에서 순환신경망을 대체하기 전인 2010년대 중반에 자사의 음성 및 번역 제품에 LSTM 기반 시스템을 사용한다고 밝힌 바 있다.¹³ 딥러닝의 역사에서 공로의 귀속은 논란의 대상이다. Schmidhuber는 아이디어의 선행성에 관한 논쟁에서 두드러진 당사자였다. 이 책의 목적상으로는, 현대 기계학습이 기반으로 하는 방법 중 일부가 루가노에서 개발되었고 연구소의 업적이 이 분야의 표준적인 서술에서 인용되고 있다는 점을 지적하는 것으로 충분하다.¹⁴

주석

1. Wikipedia(이탈리아어판), “Angelo Dalle Molle”, https://it.wikipedia.org/wiki/Angelo_Dalle_Molle (최후의 수단으로 참조) (메스트레 출생; 1952년 아티초크 아페리티프 Cynar 개발; 인공지능 연구를 위한 루가노 소재 Dalle Molle 재단 설립자). 이 항목은 사망 연도를 2001년으로 기재하고 있으나, 연구소 자체 페이지는 1908–2002년으로 기재하고 있다(후게). ↩
2. SUPSI, IDSIA, “Istituto” (전게); USI, “Istituto Dalle Molle di studi sull'intelligenza artificiale (IDSIA USI-SUPSI)”, https://search.usi.ch/it/unita-organizzative/351. ↩
3. SUPSI, IDSIA, “Istituto” (전게) (1988년 루가노에서 Angelo Dalle Molle(1908–2002)가 설립). ↩
4. “I 35 anni dell'IDSIA”, laRegione, 2023년 9월 27일, https://www.laregione.ch/cantone/ticino/1700339/servizi. ↩
5. SUPSI, IDSIA, “Istituto” (전게) (2000년부터 USI 및 SUPSI 소속); USI, IDSIA 조직 페이지 (전게) (“bridge”; “from fundamental to applied research”). 2000년 공공 연구기관으로의 전환은 Wikipedia, “Dalle Molle Institute for Artificial Intelligence Research”, https://en.wikipedia.org/wiki/Dalle_Molle_Institute_for_Artificial_Intelligence_Research (최후의 수단으로 참조)에도 기재되어 있다. ↩
6. laRegione, 2023년 9월 27일 (전게). ↩
7. USI, IDSIA 조직 페이지 (전게), 80개 이상의 역량 분야를 열거하고 있다. ↩
8. Sepp Hochreiter and Jürgen Schmidhuber, “Long Short-Term Memory”, Neural Computation 9 (1997), no. 8, 1735–1780. 가장 많이 인용된 신경망에 관한 Jürgen Schmidhuber의 웹페이지 https://people.idsia.ch/~juergen/most-cited-neural-nets.html (참고문헌 [LSTM1])에서 인용. ↩
9. Felix A. Gers, Jürgen Schmidhuber and Fred Cummins, “Learning to Forget: Continual Prediction with LSTM”, Neural Computation 12 (2000), no. 10, 2451–2471 (같은 페이지의 참고문헌 [LSTM2], 전게); A. Graves, S. Fernández, F. Gomez and J. Schmidhuber, “Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks”, ICML 2006, Pittsburgh. Jürgen Schmidhuber, “Annotated History of Modern AI and Deep Learning” (2022), https://people.idsia.ch/~juergen/deep-learning-history.html에서 인용되었으며, 이 문헌은 Schmidhuber의 지도하에 1991년 뮌헨공과대학교(TU Munich)에서 작성된 Hochreiter의 학위논문에 관해서도 서술하고 있다. 학위논문과 지도 관계는 Wikipedia, “Jürgen Schmidhuber”, https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber (최후의 수단으로 참조)에도 기재되어 있다. ↩
10. Jürgen Schmidhuber, IDSIA 개인 홈페이지, https://people.idsia.ch/~juergen/ (“In 2009, the CTC-trained Long Short-Term Memory (LSTM) of his team was the first recurrent NN to win international pattern recognition competitions”; “In 2011, the DanNet of his team was the first feedforward NN to win computer vision contests, achieving superhuman performance”; 2015년 5월의 Highway Net 및 2015년 12월의 ResNet). ↩
11. Wikipedia, “Dalle Molle Institute for Artificial Intelligence Research” (전게) (“won eight international competitions in pattern recognition and machine learning”, 2009~2012년). ↩
12. Schmidhuber, 홈페이지 (전게). ↩
13. H. Sak, A. Senior, K. Rao, F. Beaufays and J. Schalkwyk (Google Speech Team), “Google voice search: faster and more accurate”, Google Research Blog, 2015년 9월. Schmidhuber, “Annotated History” (전게)에서 인용되었으며, 이 문헌은 Google 번역에서의 LSTM 사용 시점을 2016년으로, Ashish Vaswani et al.의 트랜스포머 논문 “Attention Is All You Need”를 2017년으로 기재하고 있다. ↩
14. 예컨대 Jürgen Schmidhuber, “Deep Learning in Neural Networks: An Overview”, Neural Networks 61 (2015), 85–117 (Schmidhuber, “Annotated History”의 참고문헌 [DL1], 전게) 및 선행성 논쟁에 관한 그의 견해를 제시하는 “Annotated History” 자체 참조. ↩

일반적인 정보 제공만을 목적으로 합니다. 이 글은 법률 또는 세무 자문에 해당하지 않으며, 개별 사안에 대한 자문을 대체하지 않고, 변호사와 의뢰인 간의 위임 관계를 성립시키지 않습니다. 이 글은 2026년 10월 기준의 법적 상황을 반영합니다.