인공지능이 스스로 학습하는 3단계 마법: 가설, 비용 함수, 경사하강법 완벽 이해
· 목차
알파고가 프로 바둑 기사를 이기고, 챗GPT가 사람처럼 자연스럽게 대화하는 모습을 보면 인공지능 안에는 엄청나게 복잡하고 신비로운 지능이 들어있을 것만 같습니다. 하지만 컴퓨터 공학의 관점에서 AI의 '학습(Learning)'이라는 과정은 사실 아주 단순한 3단계 수학적 훈련의 무한 반복입니다. 마치 학생이 모의고사를 풀고, 채점을 받고, 오답 노트를 만들며 성적을 올리는 과정과 완벽하게 똑같습니다. 이 3단계 과정을 머신러닝 용어로는 각각 1. 가설(Hypothesis), 2. 비용(Cost), 3. 경사하강법(Gradient Descent)이라고 부릅니다. 용어는 다소 딱딱해 보이지만 원리는 놀랍도록 상식적입니다. 이번 포스팅에서는 복잡한 수식을 최대한 배제하고, AI가 도대체 어떻게 스스로 똑똑해지는지 이 세 가지 핵심 개념을 통해 완벽하게 풀어보겠습니다.
1. Hypothesis (가설): AI가 던지는 '과감한 첫 번째 찍기'
AI가 처음 학습을 시작할 때는 말 그대로 '바보' 상태입니다. 아무것도 모르는 상태에서 데이터가 주어지면, AI는 정답을 맞히기 위해 자신만의 규칙(선)을 임의로 그어봅니다. 이것을 바로 '가설(Hypothesis)'이라고 합니다.
예를 들어 '공부 시간에 따른 시험 점수'를 예측하는 AI를 만든다고 가정해 보겠습니다. AI는 처음에 "음, 1시간 공부하면 10점, 2시간 공부하면 20점이겠지?"라는 잠정적인 식(y = Wx + b)을 세웁니다. 여기서 W(가중치)는 공부 시간이 점수에 미치는 영향력이고, b(편향)는 기본 점수입니다. 처음에는 W와 b를 무작위 숫자로 대충 찍기 때문에 이 가설은 실제 정답과 엄청나게 동떨어져 있습니다. 즉, 가설이란 AI가 주어진 데이터를 바탕으로 "이것이 정답일 것이다!"라고 던지는 과감한 첫 번째 예측 모델입니다.
2. Cost (비용/손실 함수): AI의 실력을 평가하는 '냉혹한 채점표'
AI가 대충 가설을 세웠다면, 이제 그 가설이 얼마나 형편없는지를 평가해야 합니다. 실제 정답 데이터와 AI가 세운 가설(예측값)이 얼마나 차이가 나는지 계산하는 공식을 '비용 함수(Cost Function)' 또는 '손실 함수(Loss Function)'라고 부릅니다. 학생으로 치면 시험을 본 후 매겨지는 '오차 채점표'와 같습니다.
실제로는 2시간 공부한 학생이 80점을 맞았는데, AI의 가설은 20점이라고 예측했다면 '60점'이라는 거대한 오차(Cost)가 발생한 것입니다. AI는 모든 데이터에 대해 이 오차들을 계산한 뒤 제곱하여 평균을 냅니다(평균 제곱 오차, MSE). 여기서 가장 중요한 핵심은 "비용(Cost)이 클수록 AI가 멍청한 상태이고, 비용이 0에 가까워질수록 AI가 정답을 완벽하게 맞히고 있다"는 사실입니다. 따라서 인공지능 학습의 궁극적인 목표는 바로 이 '비용(Cost)을 최소화하는 것' 하나로 귀결됩니다.
3. Gradient Descent (경사하강법): 안대 쓰고 산 내려가기, '정답을 향한 발걸음'
이제 AI는 자신의 오차(Cost)가 얼마나 큰지 깨달았습니다. 그렇다면 오차를 줄이기 위해 가설의 수치(W와 b)를 어떻게 수정해야 할까요? 이때 등장하는 마법의 알고리즘이 바로 '경사하강법(Gradient Descent)'입니다.
경사하강법은 '안대를 쓰고 산꼭대기에서 가장 낮은 골짜기(비용이 0인 지점)를 찾아 내려가는 과정'에 비유할 수 있습니다. 눈이 보이지 않는 AI는 현재 서 있는 위치에서 발로 바닥의 '경사(Gradient, 기울기)'를 더듬어 봅니다. 만약 오른쪽이 내리막길이라면 오른쪽으로 한 걸음 내디뎌보고, 왼쪽이 내리막길이라면 왼쪽으로 한 걸음 이동합니다. 수학적으로는 비용 함수의 기울기(미분값)를 구한 뒤, 기울기가 줄어드는 반대 방향으로 가중치(W)를 조금씩 업데이트하는 것입니다. 이 과정을 수천, 수만 번 반복하며 산을 깎아 내려가다 보면, 마침내 기울기가 평평해지는 지점(오차가 가장 적은 최적의 가설)에 도달하게 됩니다. 이것이 바로 AI가 최적의 정답을 찾아내는 원리입니다.
[특별 부록] 눈으로 확인하는 경사하강법 시뮬레이터 체험
글로만 읽어서는 와닿지 않는다면, 아래 '1 스텝 학습하기' 버튼을 직접 눌러보세요! 빨간색 가설 선(Hypothesis)이 데이터 점(정답)들을 향해 스스로 기울기를 맞추며 오차(Cost)를 줄여나가는 기적 같은 과정을 눈으로 확인할 수 있습니다.
결론
정리하자면 인공지능의 딥러닝은 [1. 임의의 가설을 세운다] → [2. 비용 함수로 오차를 계산한다] → [3. 경사하강법으로 오차를 줄이는 방향으로 가설을 수정한다]라는 3박자 왈츠와 같습니다. AI가 수만 장의 고양이 사진을 보고 고양이를 인식하게 되는 기적 같은 일도, 뜯어보면 결국엔 이 세 가지 수식이 톱니바퀴처럼 맞물려 무한히 반복되며 가장 오차가 적은 최적의 선(가중치)을 찾아낸 결과물일 뿐입니다. 어렵게만 느껴졌던 인공지능 논문 속 수식들이 이제는 '오답 노트를 고치며 정답을 향해 조금씩 산을 내려가는 학생'의 성실한 발걸음으로 이해되시기를 바랍니다.
참고 자료 및 출처
- 머신러닝 기초: 선형 회귀(Linear Regression) 모델의 가설 설정 및 평가지표
- 최적화 알고리즘: 평균 제곱 오차(MSE)와 경사하강법(Gradient Descent)의 미분 원리
- 딥러닝 프레임워크 학습 가이드: 파이토치(PyTorch) 및 텐서플로우(TensorFlow) 역전파(Backpropagation) 기초
