Tesla AI day 소감.

1. AI에 있어 2010년대와 2020년대는 명확하게 구분이 된다고 생각한다. Alexnet을 시작으로 Deep neural network라는 것을 GPU라는 새로운 computing power의 도구를 쓰면 학습시킬 수 있다는 사실이 알려지면서 AI의 새시대가 열렸다. 2010년 세워진 Deepmind의 알파고는 드디어 만능의 AI시대가 열릴 것 같은 기대감이 퍼뜨렸고 수많은 AI 시도가 시작되었다. 하지만 오랜 시간이 지나기도 전에 Deep learning이라는 것이 단순한 패턴 인식 이상의 것은 잘 해내지 못한다는 것이 밝혀졌고, AI의 회의론이 퍼져나가기 시작했다. Deep learning의 아버지라고 할 제프리힌튼 교수조차 Back propagation으로는 한계가 있다. AGI를 위해서는 새로운 혁신이 필요하다고 2017년엔가 인터뷰에서 이야기했다.


2. 내 표현으론 이런거다. Deep learning이라는 거가 이론은 그럴 듯 해도 이걸 가르칠 방법이 없었는데, 갑자기 누군가가 ‘금붕어(= GPU)’를 잡아다가 학습을 시켜보니 야 이녀석이 뭔가 학습을 하는거다. 우와! 금붕어한테 말도 가르치고 운전도 시켜야지! 많은 사람들이 금붕어를 사고 학습법의 연구를 시작했다. 어떤 사람은 금붕어를 때려도 보고, 어떤 사람은 금붕어를 달래도 보고 어르기도 하고.. 논문들이 쏟아졌다. 제가 금붕어한테 이런 식으로 학습을 시켜보니까 금붕어가 10% 공부를 더 빨리해요! 저는 금붕어를 때려봤는데 더 공부를 잘하는거 같아요! 저는 더 작은 금붕어한테도 먹이를 더 조금 주고도 공부하는 법을 찾았어요! 근데 그래봐야 금붕어는 금붕어다. 뻐끔뻐끔..


3. 그럼 답은 이거다. 어짜피 머리나쁜 금붕어는 답이 없으니 머리를 좋게 만듭시다! 근데 누가 돌고래 정도 머리 좋은거 좀 만들어주면 좋겠는데 무어의 법칙도 끝났고 새 품종 금붕어 해마다 나오긴 하는데 별로 진전이 없다. 여기서 OpenAI가 등장했다. GPT-3의 방법은 간단하다. 머리나쁜 금붕어가 안되면 금붕어 만마리를 잡아서 금붕어 머리를 이어붙여서 돌고래머리만하게 만들어 본거다. 어 근데 이게 공부를 엄청 잘해. 머리가 좋아지니 개떡같이 이야기해도 찰떡같이 알아먹는다. 금붕어 학습법가지고 이야기하는 시절은 이제 끝났다. 그냥 Transformer라는 교과서 하나로 천하통일이다. 교과서가 좋은 교과서라서가 아니다. 이제 그냥 교과서 더 잘쓰는게 중요하지 않은거다. 이게 2020년대의 AI다. 제프리힌튼교수가 2020년 말에 다시 인터뷰를 했다. "AGI=범용인공지능이 멀지 않은거 같다." GPT-3의 파라메터 숫자가 대충 1700억개인데, 사람 뉴론을 파라메터로 환산해보면 대충 1000조개쯤 된단다. 금붕어 만마리 이어붙여보니 이렇게 공부잘하니, 이걸 만배 더 크게하면 사람머리가 될거 같다는 거다. !!!


4. 문제는 금붕어 머리를 이어붙이는게 쉬운일이 아니라는데 있다. 그냥 편하게 어디서 돌고래 머리 하나 딱 사오면 좋겠는데 돌고래 머리는 세상에 없다. 금붕어 머리를 이어붙일 수 밖에 없다. 문제는 금붕어 공급을 독점하던 NVIDIA 조차 금붕어 머리를 이어붙이는 방법에 대해서는 고민이 덜 되어있다. 어찌어찌 꼬매주는 거까지는 해주는데, 그걸 꼬맨 만개의 금붕어들이 마치 돌고래 한마리처럼 공부를 하는 방법 (=AI compiler)은 NVIDIA도 아직 안준다(=못준다)


5. 결국 현 시점에서 AI의 핵심경쟁력은 모델이 아니다. 새로운 모델이 필요한게 아니고 금붕어 만마리 머리를 이어붙여서 이걸 하나의 머리처럼 다룰수만 있으면 된다. 그럼 핵심은 세가지다. (1) 일단 금붕어 만마리 살 돈이 있어야 된다. 금붕어 한마리야 아무나 사는 거지만 금붕어 만마리는 이야기가 다르다. 최신 A100 한장이 만불이니 만장이면 GPU만 1천억원이다. 만약 사람머리만하게 해보겠다고 하면 1천조원이다. (2) 이어붙인 금붕어 머리를 마치 하나의 돌고래머리처럼 다루는 기술이 필요하다. 현 시점에서 이 기술이 병목이다. OpenAI나 구글이 가진 또 하나의 경쟁력이 이거다. (3) 여기에 이런 금붕어 만마리가 학습할 데이터만 있으면 끝.


6. 결국 개별 AI기업들이 주섬주섬 금붕어 몇마리 주워다가 학습법 노력하는 시대는 끝났다. 이제는 소수의 기업이 큰 자본력과 기술력으로 돌고래 가지고 학습시켜서 그걸 SaaS나 PaaS로 파는 걸 AI가 필요한 회사들이 사다쓰는 시대가 열리고 있다. 그런데 현 시점에서 NVIDIA 금붕어는 비싸기도 하고 꿰메기엔 불편한것도 많다. 결국 전체 AI stack을 다 새로 만드는게 답이다. 붕어 머리도 새로 디자인하고, 붕어머리 꿰매는 방법도 새로 만들고, 그래서 돌고래 머리처럼 돌아가게 만들어서 그 위에서 학습시키고 이걸로 서비스 제공을 fully integration하는 애가 winner일거다. 지금까지 이걸 제대로 하는 애가 단 하나 있었다. 바로 Google.


7. 그런데 오늘 Tesla가 보여준 게 이거다. (1) AI라는거 제대로 하려면 금붕어 만마리 잡아다가 이어붙인 수퍼컴퓨터가 있어야 된다. (2) 근데 NVIDIA가 파는 금붕어도 이렇게 이어붙여서 쓰기에는 별로더라. 그래서 우리가 새로 까만붕어 새로 만들었다. 붕어들 이어붙이기 쉬우라고 꿰는 구멍 엄청 만들어 붙였고 머리 자체도 엄청 잘 다듬었다. (3) 그래서 결론. “우리 붕어 멋지지? 금붕어보다 훨씬 좋다! 우리 붕어머리 꿰매붙인 돌고래머리 죽여주지? 이걸로 이젠 로봇도 조종할 수 있다!” (휴머노이드 로봇 이야기들이 많던데 그건 핵심이 아니다. 휴머노이드 정도 돌릴 수 있을 정도의 지능이 가능한 수준의 AI역량을 우리가 다 만들고 있다가 핵심이다.) @_@.. Tesla는 AI회사다. AI역량만으로도 Google과 함께 글로벌 top2라 해도 과하지 않은 이야기인거 같다.


8. 이건 AI업체들한테도 기가 막힐 이야기인데 자동차업체들한테는 이건 뭐 이해도 안가는 소리일거다. 아니 “Tesla는 자동차 안에 들어가는 AI NPU(앞의 예로는 올챙이 머리?)도 자기가 만든다며? 야 그거 어떻게 만드는거야?” 이러고 있었는데 “야 진짜는 말이지 돌고래거던? 너 이런거 봤어?” 이러는 거다. 어처구니 없을 이야기다. 개인적으로 이걸 할 수 있는 자동차 업체는 없다고 본다. Q&A 때 다른 자동차 업체에도 open할 수 있다는 이야기가 나왔는데 그냥 자율주행은 내가 platform으로 줄테니 사서쓰라는 이야기와 같다. 야 이제 게임 끝난거 알겠지?라는 항복하고 문앞에 줄서라는 선언에 가깝다고 생각한다.


9. 이젠 Tesla가 뭘 할 수 있다고 해도 다 믿어주는게 맞다고 본다. AI에서 NPU아키텍쳐던 SW스트럭쳐던 개인적으로 뭔가 그런 방향일거다라고 생각하던 방향의 그림을 다 펼쳐보여주었다. 우와 씨. Elon 형님... 넘 하시는거 아닙니까? 그냥 다 가지세요... T_T...