2번째 이야기 - GPU, 일렉스넷, 엔비디아(NVIDIA)

● GPU에 관한 이야기

● 2012년 이미지 인식 대회에서 압도적 무공을 보여준 AI모델은 '알렉스넷'이었습니다. 그런데 왜 알렉스가 붙었을까요? 알렉스 넷은 제프리 힌튼 교수,, 실험실 제자인 일리야수츠케버,, 알렉스 크리체프스키로 이루어진 슈퍼비전팀의 작품이었습니다. 하지만 알렉스 넷이라 이름붙여진것만 봐도 핵심 성능의 개선은 알렉스 크리체프스키의 기여가 가장 컸다고 할 수 있습니다.

● 알렉스넷 이후로 딥러닝에 GPU를 본격적으로 사용하기 시작합니다. 알렉스가 그걸 써서 재미를 본걸 사람들이 따라 하기 시작한 거죠.. 알렉스가 사용했던 모델은 NVIDIA GTX 580 3GB였습니다. 볼츠만 머신을 만든 제프리 힌튼 교수는 알렉스가 GPU를 사용한다고 하자, 왜 알고리즘으로 풀려하지 않고, 하드웨어로 극복하려고 하느냐? 못마땅한 의견을 내비쳤다고 합니다. 그러나 알렉스는 딥러닝이 세상의 전면에 나서기 위해서는 실제 세계의 문제를 해결할 수 있어야 한다는 믿음이 있었던 것으로 보입니다.

● 뼛속 깊이 엔지니어였던 그의 면모와 접근을 잘 보여주는 모습입니다. 제프리 힌튼 교수와 경쟁 관계인 위르겐 슈미트 후버 교수 쪽에서는 GPU를 내가 먼저 썼는데라고 트위터에 글을 남기기도 했습니다. 실제로 Kumar가 2006년 에 처음 사용했습니다만 그러나 본격적으로 사용해서 큰 성과를 보여준 것은 알렉스 크리체프스키라 할 수 있습니다.  근데 이미지 넷 대회의 가장 큰 수혜자는 누구였을까요? 제 생각엔 NVIDIA인 것 같습니다.

 

● 접속해봅시다. https://theselyricsdonotexist.com/

Artificial Intelligence Songwriter – These Lyrics Do Not Exist

● 노래 주제는 'AI teacher school', 장르는 '락', 가사의 분위기는 '행복'으로 세팅했습니다.

● 'Generate My Lyrics' 버튼을 눌러줍니다. 다음과 같은 가사가 나왔습니다. '인공지능'으로 검색하니 이런 가사도 생성되었군요. 아쉬운 건 딱 하나 영어 가사만 생성한다는 점입니다. 한글이 나오면 좋을 텐데요. 어쨌든 왠지 기타를 잡고, 가사를 붙여보고 싶은 마음이 +3 상승했습니다. 모 박사님께서 2016년에 나온 한국 고용정보원 자료를 보여주셨는데, 이게 참 무색해졌습니다.

● 미래를 예측하는 것도 과거와 현재의 관점을 기반으로 하는 것이기 때문에 매우 불확실하고 오류가 날 가능성이 높습니다. 성직자는 대체 확률이 낮은 편이긴 합니다만(..) 이웃나라인 일본에는 이런 것도 나왔습니다.

http://www.hyunbulnews.com/news/articleView.html?idxno=299214

관세음로봇 ‘마인더’ 일본서 각광 - 현대불교신문

 

● 그저 함부로 예단하고 상상하기보다는 관찰하고, 예의 주시하며 거기에 따라 학습하고, 대응해가는 것이 현실적이지 않나 생각해봅니다. 차라리 그것이 나 자신이라고 하는 자연 모델이 끊임없이 변해가는 복잡계의 세상과 상호작용하는 과정 속에서 과소 적합과 과대 적합을 낮추고 일반화 성능을 높이는 방법이지 않을까 합니다. 아, 그래서 생각이 났습니다. 상상하지 말라(송길영, 2015)라는 책 권해드립니다. 재미있게 읽었습니다.

 

● '인공지능'에는 거품이 껴있나요?

● '인공지능'이라는 용어를 처음 제시한 존 맥카시는 인공지능을 인텔리전트 기계를 만드는 과학과 공학이라 정의했습니다. 그럼 인텔리전트 기계란 무엇일까요? 그것에 대한 명확한 정의는 없습니다.

● 사실 '인공지능'이란 말은 자체로 매우 매력적입니다. '사람과 유사한 지능'이라고 정의를 내리는 순간 여러 상상이 가능해집니다. 이러한 상상의 산물로 다양한 영화들이 만들어지기도 합니다.

● 1956년 다트머스 회의는 존 매카시, 마빈민스키, 나다니엘 로체스터, 클로드 섀넌 등과 같은 기라성 같은10인의 전문가들이 인공지능에 대해 만나 토론한 역사적 회의입니다.. 여기서 제안한 최초의 정의는 무엇일까요?  '인간의 언어를 사용하고, 추상화와 개념화를 할 수 있고, 기계 스스로 향상해 인간이 해결할 문제를 대신 해결하는 기계'였습니다.' 였습니다. 지금 보면 놀라운 수준의 기계입니다.

● 당시에는 쉽게 이런 수준의 기계를 만들 수 있을 것이라 생각했던 듯합니다.. 그러나 사람처럼 생각하고 판단하는 기계는 지금도 존재하지 않습니다. 그렇다면 현재 수준에서 다시금 정의해야 하지 않을까요?

● 장동인님은 AI로 일하는 기술(2022)에서 현 수준의 인공지능은 '다양한 데이터를 다양한 방식으로 학습할 수 있는 조금 특별한 소프트웨어' 정도로 정의해야 비교적 맞다고 지적합니다. 미국 분석철학자였던 존설(1980)은 인공지능을 강 인공지능과 약인 공지 능으로 나눴습니다.

● 사실 이제껏 우리가 살펴본 머신러닝과 딥러닝은 약인 공지 능을 구현하기 위한 방법이었습니다. 지금 만들고 있고 만들어 온 것도 약인 공지 능이었고요.. 하지만 초기 인공지능 학자들은 강 인공지능을 만들려고 했었습니다. 즉, 이상이 컸지만 현실에 부딪혀 지금에 이르렀다 보시면 될 것 같습니다..

● 아무리 좋은 아이디어와 기술이라도 구현해내지 못하면 소용없습니다. 지금은 1960년대처럼 인공지능 열풍이 엄청나게 불고 있습니다. 세상을 다 바꿔버릴 인공지능인 듯 보이죠.

● 역사에서 배울 점은 열풍은 거품을 낳는다는 점입니다. 거품을 거둬내고 현재의 인공지능을 이해하고, 이를 어떻게 문제 해결과 교육에 활용할지 생각하는 것이 중요해 보입니다.