포스트

AI 시대의 교육 평가

AI 시대의 교육 평가

AI를 활용한 개발이 일반화되면 사람과 결과물의 거리가 더 멀어지고 있다. AI가 그 사이를 중개하기 때문이다. 이는 교육의 평가에도 큰 영향을 미친다. 부트캠프에서 교육생을 지도하는 입장에서 평가에 관한 고민을 얘기해보려고 한다. 부트캠프 사례지만 교육 전반에 걸쳐 AI로 인해 많은 고민이 있을 것이다.

교육생을 평가하는 걸까? AI를 평가하는 걸까?

처음 이 생각에 빠지게 된 것은 얼마 전 어떤 교육생을 보고 나서였다. 그 교육생은 자리도 자주 비우고 노트북 화면 보다는 스마트폰을 보고 있는 시간이 많은 등 성실한 모습이 아니었다. 평가를 위해 그 팀의 Git과 Jira를 체크하다가 깜짝 놀랐다. 팀에서도, 그리고 반에서도 상위권의 활동량으로 나타났기 때문이다. 데이터로만 보면 아주 열심히 하는 모습이다. 강의장에서 보이는, 피부로 느끼는 모습과는 전혀 다른 것이다.

당연하게도 데이터에 보이는 것은 대부분 교육생이 아닌 AI의 활동이었다. 자연스레 많은 고민이 들었다. 데이터로 보이는 걸 믿어야 할까 아니면 평소의 모습을 믿어야 하는 걸까? 결과물에 있는, 즉 데이터에 있는 것은 AI일까 아니면 교육생일까? 나는 AI를 평가하는 걸까? 아니면 교육생을 평가하는 걸까? 한 명의 사례를 들었지만 주변의 이야기를 들었을 때 그리고 AI가 발전하고 보편화되는 과정에서 꾸준히 느껴왔던 것이다.

고장난 평가 시스템

AI 이전에는 데이터를 통해 교육생을 평가하는 것이 자연스러웠다. 얼마나 성실하게 프로젝트를 하고 있는지, 무엇을 할 수 있는지, 어디가 부족한지 판단할 수 있었다. AI는 이걸 깨버렸다. 결과물만 가지고는 교육생의 역량을 평가하기 어렵게 된 것이다. 물론 이전에도 결과물만 가지고 평가하는 것은 아니었다. 개발 이외에도 다양하게 프로젝트에 기여할 수 있기 때문이다. 그리고 부트캠프 특성상 개인적인 일(보통 취업 관련)로 프로젝트에 올인하기 어려운 경우도 많다. 되도록 그런 부분도 감안해서 평가를 하고자 노력했다. 이를 볼 수 있는 방법은 교육생이 어떻게 하고 있는지 관찰하는 것이다. 그냥 옆에 있으면 보이고 느껴진다.

그럼 어떻게 평가해야 할까?

1. AI 활용도 역량이다.

AI를 잘 부리는 것도 능력이고 역량이다. 적은 노력을 들이고 많은 결과를 냈으니 우수한 것으로 볼 수도 있다. 효율성이나 경제적 관점으로는 충분히 좋게 평가해야 할 것이다. 최근의 AI 활용 흐름을 보면 이쪽이 더 맞을 수도 있다. 좀 더 나아가면 기술 발전이라는 것이 “뭘 잘 몰라도” 그것을 할 수 있게 만드는 것이기도 하다. ‘충분히 발달한 기술은 마법과 구별할 수 없다’라는 말도 있지 않은가.

2. AI는 AI고 사람은 사람이다.

교육의 목적은 자격화, 사회화, 주체화에 있다고 한다(비에스타). 부트캠프는 특정 기술을 가르치는 것을 주목적으로 하므로 세 가지 중 ‘자격화’가 중요하게 여겨진다. 물론 사회화와 주체화도 빼놓을 수 없다.

AI와 사람을 분리하면 사람의 역량을 측정할 수 있을 것이다. 구술 시험은 한 가지 방법일 것이다. 결과물을 근거로 하여 면접을 보듯 교육생에게 질문을 한다면 그 역량을 측정할 수 있을 것이다. 대학에서는 이 방법을 고려하는 곳도 있는 것 같다.

하지만 이게 맞는 방향인지는 잘 모르겠다. 어차피 실제로 일을 할 때는 AI와 함께 하게 될 것이기 때문이다. 이는 마치 예전의 손코딩 시험이나 화이트보드 시험 같은 걸로 회귀하는 것 같다.

3. 다른 부분을 평가할까?

개발은 어차피 AI가 하니 제품을 평가에 반영하는 것도 한 가지 방법일 것이다. 제품의 필요성이나 영향도 같은 걸 보는 것이다. 이는 이전에도 다뤄지던 부분이긴 하다. 코딩을 비롯해 기술적인 요소(how) 뿐만 아니라 기획과 같은 why 부분도 평가에 적극 반영하는 것이다. 하지만 이것은 정성적인 특성이 많으며 평가자의 주관이 개입될 가능성이 크다.

4. 평가 지표를 세분화 한다면?

개발에 얼마나 열심히 참여했는지 이외에 좀 더 디테일하게 보는 것이다. 예를 들어 코드 품질, 테스트 커버리지, 보안이나 성능, 사용성 등 완성도를 지표로 생각해볼 수 있다. 더 나아가서 결과만이 아닌 과정을 평가에 포함시키는 방법도 있겠다. AI와 나눈 대화 기록 그리고 중간 산출물을 보는 것이다. 이를 통해 사람의 기여도를 평가할 수 있을 것이다.

이런 저런 고민 끝에 이런 생각까지 든다. “왜 교육에는 항상 평가가 있을까?” 교육과정에는 항상 평가가 포함되어 있다. 왜일까? 뭘 평가하는 걸까? 교육생의 역량을? 시험 공부와 같은 평가 준비를 얼마나 열심히 했는지를? 교육생의 학습 역량을? 또는 교육을 주관하는 곳을? 교육의 목적이 잘 달성되었는지, 교육과정 자체가 교육생에게 도움이 되었는지를? …

교육의 목적?

먼저 말하면 나는 교육 분야에서 일하고 있지만 교육 자체에는 비전문가에 가깝다. 교육학을 배운 것도 아니고 훈련을 받은 것도 아니기 때문이다. 이런 나에게 교육의 목적이란 교육생이 경험을 쌓고 성장하게 하는 것이라는 생각이 있다. 지식을 전달하는 것은 그 목적을 위한 방법인 것이다. 그래서 나에게 핵심 질문은 “이 과정이 끝나고 교육생이 어떤 사람이 되길 바라지?” 이다. 이 질문은 교육생에게도 해당된다. ‘너는 이 과정이 끝나면 어떤 사람이 되길 바라니?’

한 가지 평가 방법 : KPI 기반

교육생이 이 과정에 들어온 목적은 여러 가지가 있을 것이다. 부트캠프 특성상 취업이 목적인 사람이 많다. 기술 습득 등 학습 그 자체가 목적인 사람도 있다. 넓게 봐서는 취업 관련이지만 팀 프로젝트를 하며 협업 경험을 쌓는 것이 목적인 사람도 있다. 또한 창업을 생각하고 온 경우도 있다.

이런 배경하에 생각난 한 가지 평가 방법은 개인별 KPI(Key Performance Indicator) 기반 평가다. 교육생 개인의 목적을 중심에 두고 KPI를 설정하고, 그 과정을 잘 하고 있는지 평가하는 것이다. 취업이 목적이라면 그것을 달성하기 위한 계획을 세우고 KPI를 설정한다. 특정 분야의 지식이나 특정 기술을 목적으로 하고 있다면 그에 맞춰 KPI를 설정한다. 그리고 주기적으로 측정해 변화와 성장을 평가하는 것이다. 한 가지 기준이 아닌, 개인 맞춤형으로 가는 것이다.

물론 쉽지 않은 방법이다. 우선 손이 매우 많이 간다. 부트캠프 기간 동안 연속성을 유지하며 관리할 사람이 있어야 한다. 또한 이 방식에 필수적인, 피드백에도 많은 노력이 필요할 것이다. 기준이 너무 상대적이라 교육생간 비교가 어려워지는 문제점도 있다. 그리고 KPI 자체가 갖는 왜곡(또는 부작용)도 있다. 나도 그랬지만 매년 KPI를 대충 세우고 넘어갈 때가 많았기 때문이다. 그리고 목적부터 스스로 세워야하기 때문에 교육생도 어려워할 것으로 예상된다.

앞으로 어떻게 될까?

AI는 이미 대부분의(혹은 모든) 사람보다 우수한 지식과 지적 능력(?)을 가지고 있다. 언제든 주머니 속의 기계를 꺼내면 뭐든 답을 해주는데 왜 공부를 해야할까? 요즘 교육이 받고 있는 도전이다. AI로 과제를 하는 대학생은 이제 뉴스 거리도 안 된다. 최근에는 세무사 시험에서 스마트 안경으로 부정행위를 한 것이 문제가 되고 있다. 기존의 교육 시스템은 AI라는 새로운 병원체에 공격을 받고 있다. 평가에 대해, 교육에 대해 고민과 겹쳐 저런 뉴스를 보다가 이런 생각에 빠졌다.

모두 AI로 시험을 볼 수 있다면?

무슨 일이 생길까? 누가 공부라는 걸 할까? 지식을 묻는 시험이라는 게 성립할까? 아예 SF로 가서 뇌를 확장할 수 있는 두뇌 임플란트 같은 게 나오면 어떨까? 인터넷에 상시 연결되어 있는 통신 칩을 심으면 어떨까? 그때에도 교육이 필요할까? 사람들이 힘들게 뭘 배우려고 할까?

… 잠깐 멀리 갔다왔다. 아직은 지식이 필요하고 이를 얻기 위해 학습을 해야한다. 그리고 그 과정을 더 잘하기 위해 평가가 필요하다. 개발자라고 하면 AI가 만든 코드를 보고 이해할 수 있어야 한다(아직은). 보다 넓게는 코드가 운영 환경에 미치는 영향도 따져야 한다. 그러려면 도메인과 코드 베이스를 알고 있어야 한다. 내가 뭘 잘 하고 뭘 못하는지, 강점과 약점을 파악하기 위해 평가가 필요하다.

KPI 기반의 평가, 개인의 목적을 설정하고 성장을 돕도록 하는 교육의 방법을 이야기했다. 어쩌면 이것은 교육의 이상-원하는 것을 스스로 발견하게 하고 그 방향으로 성장할 수 있도록 도돕는 것-을 말하는 것 같기도 하다. 지금은 AI로 인해 교육이 위기를 겪고 있는 것 같지만, 먼 미래에 보면 유토피아로 가는 첫걸음으로 보일지도 모르겠다.

이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.