CPU에서 GPU로의 권력 이동 - AI는 왜 '행렬'을 사랑할까?

불과 몇 년 전까지만 해도 "좋은 그래픽 카드(GPU)를 샀다"는 말은 곧 "나 고사양 게임 할 거야" 혹은 "동영상 편집을 시작했어"라는 뜻이었습니다. 일반적인 컴퓨터의 두뇌는 언제나 CPU였고, GPU는 화면을 예쁘게 보여주는 보조 장치에 불과했었죠.

하지만 생성형 AI와 딥러닝의 시대가 도래하면서 판도가 완전히 뒤집혔습니다. 이제는 개인 PC에서 AI 모델을 돌리거나 학습시키기 위해 고성능 GPU가 필수가 되었습니다. 엔비디아(NVIDIA)가 전 세계 시가총액 1위 기업이 된 것도 이 때문입니다.

도대체 왜, 똑똑한 박사님 같은 CPU를 제쳐두고 단순 노동자 같은 GPU가 AI 시대의 주인공이 되었을까요? 그 비밀은 우리가 고등학교 수학 시간에 배웠던 '벡터' 와 '행렬' , 그리고 대학교에서 공부한 '선형대수학' 에 숨어 있습니다.

1. 컴퓨터에게 '사과'와 '바나나'를 가르치는 법: 벡터(Vector)

우리가 "사과는 빨갛고 동그랗다", "바나나는 노랗고 길다"라고 생각할 때, 컴퓨터는 이 개념을 어떻게 이해할까요? 컴퓨터는 0과 1, 즉 숫자밖에 모릅니다. 그래서 컴퓨터 공학자들과 수학자들은 세상의 모든 개념을 숫자의 묶음, 즉 벡터(Vector) 로 변환하기로 했습니다.

예를 들어 과일의 특징을 [색깔, 모양, 당도]라는 3차원 벡터로 표현한다고 가정해 봅시다. (빨강=1, 노랑=10 / 원형=1, 길쭉=10)

• 사과: $[1, 1, 8]$

• 바나나: $[10, 10, 9]$

• 청사과: $[2, 1, 7]$

이렇게 데이터를 벡터로 만들면 놀라운 일이 벌어집니다. 바로 "유사도(Similarity)"를 계산할 수 있게 되기 때문입니다.

공간상에서 사과와 청사과의 좌표는 가깝고, 바나나는 멀리 떨어져 있습니다. AI가 "사과와 청사과는 비슷하구나!"라고 판단하는 근거는 바로 이 벡터 공간에서의 거리 계산입니다.

2. 벡터가 모여 만든 거대한 큐브: 텐서(Tensor)

그런데 AI가 처리해야 할 데이터는 과일 세 개 정도가 아닙니다.

가로, 세로 1000픽셀짜리 컬러 사진 한 장을 생각해 봅시다. 픽셀 하나당 R, G, B 세 개의 숫자가 필요하니, 사진 한 장은 $1000 \times 1000 \times 3$개의 숫자로 이루어진 거대한 덩어리입니다.

• 스칼라(Scalar): 숫자 하나 (예: 5)

• 벡터(Vector): 숫자의 1줄 배열 (예: [1, 2])

• 행렬(Matrix): 숫자의 2차원 표 (엑셀 시트)

• 텐서(Tensor): 3차원 이상의 숫자 덩어리 (큐브 형태)

구글의 AI 프레임워크 이름이 '텐서플로우(TensorFlow)' 인 이유가 바로 여기에 있습니다. AI는 이 거대한 숫자 덩어리(텐서)들을 쉼 없이 흘려보내며 계산하는 기계이기 때문입니다.

3. AI의 실체: 끝없는 곱하기와 더하기 (행렬 연산)

딥러닝(Deep Learning)이라고 하면 뭔가 엄청나게 복잡한 논리적인 추론을 할 것 같지만, 그 내부를 들여다보면 사실 단순 무식한 행렬 곱셈(Matrix Multiplication) 의 반복입니다.

입력 데이터(X)에 가중치(W)를 곱하고 편향(b)을 더하는 $Y = WX + b$ 같은 선형대수학 공식이 수억 번, 수조 번 반복됩니다.

문제는 이 계산의 난이도가 아니라 '양' 입니다.

• CPU의 방식: "자, 첫 번째 줄 계산하고... 다 했니? 그럼 두 번째 줄..." (순차 처리)

• AI의 요구: "지금 당장 1억 개의 곱셈을 동시에 해줘!"

여기서 천재 수학자(CPU)는 멘붕에 빠집니다. 아무리 머리가 좋아도 몸이 하나라서 1억 개의 숙제를 동시에 할 수는 없으니까요.

4. 픽셀을 칠하던 붓, AI의 두뇌가 되다

이때 등장한 구세주가 바로 GPU(Graphics Processing Unit) 입니다. 원래 GPU는 화면에 그림을 그리기 위해 태어났습니다.

모니터 화면을 생각해 보세요. FHD 화면에는 약 200만 개의 픽셀이 있습니다. 3D 게임을 할 때, GPU는 이 200만 개의 픽셀 각각에 대해 "너는 무슨 색이어야 해", "여기는 그림자니까 좀 더 어둡게"라는 계산을 동시에 해야 합니다.

• CPU: 소수의 아주 똑똑한 코어(Core) (박사 4~16명) → 복잡한 논리, 순서가 있는 작업에 최적화

• GPU: 단순한 계산만 할 줄 아는 수천 개의 코어 (초등학생 5,000명) → 단순 반복 계산의 동시 처리(병렬 연산)에 최적화

개발자들은 깨달았습니다.

"잠깐, 3D 게임에서 픽셀 좌표를 계산해서 동시에 색칠하는 거나, AI 딥러닝에서 행렬 곱셈을 동시에 하는 거나... 수학적으로 완전히 똑같잖아?"

그래픽 처리를 위해 발전해 온 GPU의 대규모 병렬 처리 능력이, 우연히도(혹은 필연적으로) 딥러닝의 행렬 연산과 완벽하게 맞아떨어진 것입니다. GPU 입장에서는 화면에 픽셀을 뿌리는 대신 AI 데이터를 뿌리게 된 것일 뿐, 하는 일(행렬 연산)은 똑같았던 것이죠.

5. 결론 : 학창시절 수학 시간은 헛되지 않았다

요약해보면 이렇습니다.

1. 컴퓨터 공학자와 수학자들은 수학적으로 세상을 이해하기 위해(혹은 기계에게 이해시켜주기 위해) 정보를 벡터와 텐서로 만들었다.

2. 이 텐서를 처리하려면 선형대수학(행렬 연산) 이 필요했다.

3. 수천 개의 픽셀을 동시에 계산하던 GPU가 이 행렬 연산에 이미 최적화되어 있었다.

이 3박자가 맞아떨어지며 지금의 AI 혁명이 가능했습니다.

고등학교 때 "벡터와 스칼라를 배워서 어디다 써?"라고 불평했고, 대학교 때 선형대수학의 행렬 곱셈에 머리를 쥐어뜯으셨나요? 저는 대학교 1학년 때 선형대수학이 정말 더럽게 재미가 없어서 공부를 안 했다가 안좋은 성적을 받고, 3학년때 재수강을 하고 성적을 복구시킨 기억이 있습니다. 두 번째 수강할 때는 열심히 했지만 미분방정식에 비해 선형대수학이 더럽게 재미없는 것은 마찬가지였죠. 그런데 놀랍게도 그 골치 아픈 수학이 20년 뒤, 인류 역사상 가장 똑똑한 인공지능을 만드는 핵심 열쇠가 되었다는 사실에 뭔가 가슴이 뭉클해 집니다.

수학자들의 이론과 하드웨어 엔지니어들의 기술이 만나는 지점, 그곳에 바로 GPU와 AI가 서 있습니다.

🚀 다음 글 예고

이제 우리는 CPU와 GPU가 어떻게 다른지 알았습니다. 그런데 요즘 뉴스에 자주 나오는 NPU(Neural Processing Unit) 는 또 뭘까요? GPU보다 AI에 더 최적화되었다는 NPU의 정체에 대해 알아보겠습니다.