[AI 기초 수업] 인공지능은 어떻게 똑똑해질까? 3가지 핵심 학습법 완벽 이해하기
· 수업 목차
여러분, 환영합니다! 오늘 우리는 단순히 "인공지능이 무엇이다"라는 백과사전식 정보를 외우는 것이 아니라, "깡통 같은 컴퓨터가 도대체 어떻게 인간처럼 똑똑하게 생각하는 능력을 갖추게 되는가?"라는 근본적인 원리를 함께 공부해보려고 합니다. 컴퓨터에게 지식을 주입하는 과정은 놀랍게도 인간의 아이가 세상을 배우는 과정과 아주 깊이 닮아 있습니다.
인간의 뇌 구조를 모방한 인공신경망이라는 뼈대가 준비되었다면, 이제 그 빈 뇌를 훈련시켜야 합니다. 이 훈련 과정을 우리는 '머신러닝(기계 학습)'이라고 부릅니다. 학자들은 컴퓨터를 가르치는 방법을 크게 3가지 커리큘럼으로 나누어 놓았습니다. 오늘 수업에서는 선생님이 정답을 알려주는 지도 학습, 기계 스스로 특징을 찾아내는 비지도 학습, 그리고 수많은 실패와 보상을 통해 전략을 짜는 강화 학습의 원리를 누구나 이해할 수 있는 쉬운 비유와 함께 완벽하게 마스터해 보겠습니다. 자, 그럼 1교시부터 시작해 볼까요?
1교시. 지도 학습 (Supervised Learning): 친절한 선생님과 정답지가 있는 교실
여러분이 어릴 적, 그림카드를 보며 낱말을 배우던 때를 떠올려 봅시다. 부모님이 강아지 사진을 보여주며 "이건 강아지야", 사과 사진을 보여주며 "이건 사과야"라고 정답을 하나하나 짚어주셨죠? 기계를 가르치는 가장 직관적이고 널리 쓰이는 첫 번째 방법이 바로 이와 완벽하게 똑같은 '지도 학습(Supervised Learning)'입니다. 지도 학습의 가장 큰 특징은 기계에게 학습할 데이터(문제)와 그 데이터가 무엇인지 알려주는 라벨(정답지)을 반드시 한 쌍으로 묶어서 제공한다는 점입니다. "선생님(개발자)이 정답(라벨)을 지도(Supervise)해 준다"고 해서 붙여진 이름입니다.
실제 수업 과정을 살펴볼까요? 우리는 인공지능에게 수만 장의 엑스레이 사진을 보여줍니다. 이때 사진만 주는 것이 아니라, "이 사진은 암세포가 있는 사진(정답: 1)", "이 사진은 건강한 폐 사진(정답: 0)"이라는 명확한 이름표를 붙여줍니다. 기계는 이 수만 개의 '문제+정답' 세트를 반복해서 풀어보면서, 암세포가 있는 엑스레이 사진들만의 미세한 픽셀 패턴과 특징적 규칙을 스스로 수학적인 방정식으로 도출해 냅니다. 학습이 완벽하게 끝나면, 이제 선생님은 정답지가 없는 완전히 새로운 환자의 엑스레이 사진을 슬쩍 내밉니다. 그러면 기계는 자신이 만들어둔 규칙 공식을 적용하여 "이 사진은 98% 확률로 암세포입니다"라고 스스로 정답을 예측해 내는 것입니다. 우리가 일상에서 쓰는 스팸 메일 필터링, 이미지 인식, 주가 예측 등 분명한 '결과값(정답)'을 도출해야 하는 거의 모든 AI 서비스가 바로 이 친절한 지도 학습의 결과물입니다.
2교시. 비지도 학습 (Unsupervised Learning): 정답 없이 스스로 규칙을 깨우치는 탐험가
그렇다면 만약 정답지가 아예 존재하지 않는 상황이라면 어떨까요? 여러분에게 난생처음 보는 외국 동전 한 무더기를 던져주고 "알아서 정리해 봐"라고 한다면, 여러분은 동전의 이름(정답)은 모르더라도 크기가 큰 것끼리, 색깔이 금색인 것끼리, 혹은 구멍이 뚫린 것끼리 자신만의 기준을 세워 몇 개의 그룹으로 나누어 놓을 것입니다. 이것이 바로 선생님도, 정답지도 없이 기계 스스로 데이터 속에서 의미를 찾아내는 '비지도 학습(Unsupervised Learning)'의 핵심 원리입니다. 기계에게 정답(라벨)이 없는 날것의 방대한 데이터를 던져주면, 기계는 데이터들 사이의 수학적인 '거리'와 '유사성'을 분석하여 비슷한 특징을 가진 것들끼리 무리(군집, Cluster)를 지어냅니다.
이 학습법은 정답을 모르는 미지의 데이터를 탐색하고 숨겨진 구조를 파악할 때 압도적인 위력을 발휘합니다. 가장 대표적인 실전 사례가 바로 넷플릭스나 쇼핑몰의 '추천 시스템'과 마케팅의 '고객 세분화'입니다. 쇼핑몰 운영자는 수백만 명의 고객 데이터에 "이 사람은 VIP, 저 사람은 체리피커"라고 일일이 정답을 달아둘 수 없습니다. 대신 고객들의 결제 금액, 방문 빈도, 머무는 시간 등의 데이터를 비지도 학습 AI에 입력하면, 기계는 스스로 패턴을 찾아내어 전체 고객을 3~4개의 특성 그룹으로 완벽하게 분할해 줍니다. 인간의 편견이나 선입견 없이, 오직 데이터 본연의 순수한 속성만을 바탕으로 숨겨진 지도를 그려내는 탐험가. 그것이 바로 비지도 학습이 가지는 가장 지적이고 놀라운 능력입니다.
3교시. 강화 학습 (Reinforcement Learning): 당근과 채찍으로 성장하는 실전 훈련
마지막 3교시에서 배울 학습법은 우리가 반려견에게 '앉아'나 '기다려'를 훈련시키는 방식과 완벽하게 동일한 '강화 학습(Reinforcement Learning)'입니다. 강아지에게 처음부터 "다리 관절을 45도로 구부리고 엉덩이를 바닥에 대라"고 이론(정답지)을 알려주는 것은 불가능합니다. 대신 강아지가 우연히 바닥에 앉았을 때 맛있는 간식(보상)을 주고, 물건을 물어뜯으면 혼(벌점)을 냅니다. 강아지는 수많은 시행착오를 겪으며 "아, 앉으면 간식이 나오는구나!"라는 사실을 스스로 깨닫고 그 행동을 강화하게 됩니다. 인공지능의 강화 학습 역시 기계(Agent)가 특정 환경(Environment) 속에서 어떤 행동(Action)을 했을 때, 그 결과가 목표에 부합하면 '+1점(보상)'을 주고, 어긋나면 '-1점(벌점)'을 주어 기계가 누적 보상을 '최대화'하는 최적의 행동 방침(Policy)을 스스로 찾아내도록 훈련시키는 방식입니다.
이 훈련법은 단순히 정답을 맞히는 것을 넘어, 시시각각 변하는 복잡한 상황 속에서 수만 가지의 경우의 수를 고려해 연속적인 결정을 내려야 하는 최고 난이도의 과제에 사용됩니다. 가장 전설적인 사례가 바로 이세돌 9단을 꺾었던 구글 딥마인드의 '알파고(AlphaGo)'입니다. 바둑판 위에는 우주에 있는 원자의 수보다 많은 경우의 수가 존재하기 때문에 지도 학습으로 모든 정답(족보)을 입력하는 것은 물리적으로 불가능합니다. 대신 알파고는 강화 학습을 통해 자신과 똑같은 AI 복제본과 수천만 판의 모의 대국을 치르면서, 집을 많이 차지해 승리하면 엄청난 보상 점수를 받고 패배하면 벌점을 받는 가혹한 실전 훈련을 거쳤습니다. 그 결과 인간의 기보에는 존재하지도 않는 가장 완벽한 창의적 승리 전략을 기계 스스로 체득하게 된 것입니다. 자율주행 자동차가 충돌하지 않고 목적지에 도달하는 방법을 배우는 것 역시 이 치열한 강화 학습 덕분입니다.
마무리: 3가지 학습법의 완벽한 조화
자, 오늘 수업의 핵심 내용을 정리해 보겠습니다. 인공지능을 가르치는 3대장, 완벽하게 이해되셨나요? [1. 과거의 정답 데이터를 바탕으로 미래를 예측하는 친절한 '지도 학습'], [2. 정답 없는 미지의 데이터 속에서 숨겨진 패턴과 질서를 찾아내는 탐험가 '비지도 학습'], [3. 무수한 시행착오와 보상을 통해 최고의 생존 전략을 짜내는 실전 훈련 '강화 학습'].
현대의 최고급 인공지능 서비스들은 이 세 가지 중 하나만 사용하는 것이 아니라, 목적에 맞게 이들을 절묘하게 섞어서 사용합니다. 알파고 역시 처음에는 인간 기보를 외우는 지도 학습으로 기초 체력을 다진 뒤, 강화 학습으로 실전을 연마하는 융합 방식을 택했습니다. 오늘 배운 이 세 가지 학습의 원리를 이해하셨다면, 앞으로 여러분이 어떤 AI 뉴스를 보더라도 "아, 저 기술은 저런 방식으로 훈련했겠구나!"하고 꿰뚫어 보는 훌륭한 인사이트를 갖추게 되신 겁니다. 오늘 수업은 여기까지입니다. 수고하셨습니다!
수업 참고 도서 및 심화 자료
- 머신러닝 교과서: 지도 학습(Supervised)의 손실 함수(Loss Function) 최적화 및 비지도 학습(Unsupervised)의 K-평균 알고리즘 기초 원리
- 인공지능 알고리즘 입문: 강화 학습(Reinforcement Learning) 환경에서의 마르코프 결정 과정(MDP)과 에이전트 보상 함수(Reward Function) 모델링
- 컴퓨터 과학 교육 저널: 초보자를 위한 기계 학습(Machine Learning) 3대 패러다임 직관적 이해와 실제 IT 산업 적용 사례 분석
