4주차 · AI의 한계와 책임 있는 활용

슬라이드 이동·퀴즈·계산기를 사용하려면 JavaScript를 켜 주세요.

AI의 한계와 책임 있는 활용

답을 만드는 기술을 배웠다면, 이제 그 답을 사용할 조건을 정해야 한다.

오류를 확인할 근거

확률과 비용으로 정할 판단 기준

사용 범위와 책임

토론: AI가 틀릴 수 있다는 사실을 알고도, 어떤 업무에는 AI를 사용할 수 있는 이유는 무엇일까?

개념 해설

이번 주의 대상은 AI를 사용한 뒤에 남는 판단이다. 같은 오류라도 초안에 남았는지, 사람의 기회를 바꾸는 최종 결정에 쓰였는지에 따라 영향이 다르다. 답변을 검증할 자료, 사람에게 넘길 기준, 오류를 수정할 담당자를 함께 살핀다. 학습 예제에 제시한 수치는 실제 기업이나 제품의 성능이 아니라 계산을 위한 가상 데이터다.

초안 작성과 최종 결정

AI가 맡은 일이 무엇인지 알아야 오류의 영향을 판단할 수 있다.

고객 문의 답변 초안

담당자가 원문을 확인하고 수정한 뒤 발송한다.

지원 신청 자동 탈락

AI 판정이 신청자의 기회를 바로 바꾼다.

검토할 차이

결정 권한, 수정 가능성, 영향을 받는 사람

개념 해설

두 경우 모두 문서 분류를 사용할 수 있지만 AI의 역할은 다르다. 초안의 오류가 발송 전에 수정되면 이용자에게 닿지 않을 수 있다. 자동 탈락은 잘못된 판정이 곧바로 불이익이 된다. 담당자가 있다고 해서 충분하지는 않다. 담당자가 실제 자료를 검토하고 AI의 판단을 바꿀 수 있어야 한다.

무엇을 확인할 것인가

성능은 하나의 숫자로 끝나지 않는다.

질문	확인할 자료
답이 맞는가	원문, 실제 결과, 독립된 기준
확률을 믿을 수 있는가	같은 업무의 확률값과 정답 기록
누구에게 오류가 생기는가	집단별·업무별 오류
누가 바로잡는가	검토 권한, 정정 절차, 담당자

개념 해설

정확도는 중요한 출발점이지만 답변 보류, 집단별 불이익, 배포 뒤 변화까지 대신 설명하지 않는다. 수업에서는 한 지표가 답하는 질문과 답하지 못하는 질문을 구분한다. 정확도가 높다고 해서 확률이 잘 보정되어 있다는 뜻도 아니고, 모든 고객에게 같은 성능을 낸다는 뜻도 아니다. 자료와 분모를 적으면 이런 혼동을 줄일 수 있다.

하나의 답변을 주장으로 나누기

길고 자연스러운 답변도 문장마다 확인할 근거가 다르다.

안내문: 신청 마감 10월 20일, 방문 접수 가능, 수수료 없음

AI 초안: 신청 마감 10월 25일, 온라인 접수만 가능, 수수료 1만 원

가상 안내문과 AI 초안을 비교하자.

날짜·방법·금액에 관한 주장을 표시한다.
각 주장에 대응하는 원문을 찾는다.
원문으로 확인할 수 없는 내용을 따로 적는다.

개념 해설

이 예제의 안내문과 AI 초안은 수업을 위해 만든 자료다. 검증 단위는 답변 전체에 대한 인상이 아니라 개별 주장이다. 날짜, 접수 방법, 금액은 서로 다른 내용이므로 각각 확인해야 한다. 답변이 정중하고 읽기 쉽더라도 사실 확인의 결과는 달라지지 않는다. 원문이 오래되었다면 원문에 충실한 답변도 현재 사실과 어긋날 수 있다.

환각과 자료에 충실하지 않은 답변

AI는 잘못된 내용을 단정하거나, 제공한 자료와 어긋난 내용을 생성할 수 있다.

사실 오류

외부 사실과 다른 날짜·수치·사건을 제시한다.

자료와의 불일치

제공한 문서를 잘못 옮기거나 없는 내용을 덧붙인다.

답변 안의 모순

같은 맥락에서 서로 양립하지 않는 주장을 제시한다.

개념 해설

NIST는 생성형 AI가 잘못되거나 거짓인 내용을 확신에 차서 제시하는 문제를 confabulation으로 다룬다. 흔히 환각이라고 부르는 현상이다. 연구마다 용어의 범위가 다를 수 있으므로 여기서는 오류를 세 가지 확인 질문으로 나눈다. 이는 AI가 사람처럼 의도적으로 거짓말한다고 설명하는 것이 아니다.

원문에 맞는 답과 현재 사실에 맞는 답

자료를 정확히 옮기는 것과 현재 상황을 정확히 설명하는 것은 별도로 확인해야 한다.

원문	AI 답변	판단
오래된 문서: 마감 10월 20일	마감은 10월 20일	원문에는 충실하나 현재 일정 확인 필요
현재 문서: 마감 10월 20일	마감은 10월 25일	자료와 불일치
현재 문서: 방법 설명 없음	온라인 접수만 가능	자료로 뒷받침되지 않는 추가 주장

개념 해설

검색한 자료를 붙인 답변이라고 자동으로 현재 사실이 되는 것은 아니다. 자료의 작성일, 적용 기간, 담당 기관을 확인해야 한다. 문서가 설명하지 않는 내용을 AI가 보충했다면 보충한 내용의 별도 근거가 필요하다. 자료 검색은 검증에 필요한 정보를 가져오는 과정이며, 답변 검사는 그 정보와 결론의 관계를 확인하는 과정이다.

인용이 있다는 것만으로 충분할까

문헌의 존재, 내용, 적용 범위를 차례로 확인한다.

저자·제목·발행처가 실제로 존재하는가

해당 문헌에 그 내용이 적혀 있는가

그 내용이 지금의 결론까지 뒷받침하는가

토론: 특정 병원의 실험 결과를 모든 병원의 성능으로 소개해도 되는가?

개념 해설

존재하는 논문을 인용했더라도 논문의 결과와 다른 설명을 붙일 수 있다. 연구의 대상과 조건을 넓혀 해석하는 오류도 있다. 예를 들어 한 자료에서 관찰한 성능을 다른 기관과 시점에 그대로 적용하려면 추가 근거가 필요하다. 인용문과 링크는 확인할 경로를 제공하지만 그 자체가 결론의 정확성을 보장하지는 않는다.

답변 보류에도 점수를 줄 이유

불확실한 질문에서 추측이 유리한 평가를 만들면 잘못된 답변을 줄이기 어렵다.

행동	정답 1점·오답 0점·보류 0점	오류 피해를 반영한 평가
추측해서 답하기	정답 가능성만큼 점수를 기대	오류의 비용도 부담
답변 보류	점수가 없음	추가 확인 비용을 부담
추가 자료 요청	시간이 더 필요	오류를 줄일 근거 확보

개념 해설

Kalai 등의 논문은 답변 보류보다 추측을 유리하게 만드는 평가 관행을 오류의 한 원인으로 분석한다. 이를 모든 오류의 유일한 원인으로 볼 수는 없다. 서비스의 평가에는 잘못된 답의 피해와 확인 비용을 함께 넣어야 한다. 학생용 시험에서 부분 점수를 설계하는 문제와 실제 서비스의 비용을 설계하는 문제는 관련되지만 같은 제도는 아니다.

확정하기 어려운 이유를 먼저 찾기

추가 자료를 찾을지, 질문을 바꿀지, 사람에게 넘길지는 불확실성의 이유에 따라 달라진다.

자료 부족

필요한 문서나 사실을 아직 확인하지 못했다.

판단 기준의 모호함

질문이나 적용 규칙을 여러 방식으로 해석할 수 있다.

상황 변화

고객, 업무, 적용 규정이 평가 당시와 달라졌다.

개념 해설

이 세 항목은 불확실성을 진단하기 위한 질문이며 완전한 학술 분류는 아니다. 없는 정보를 단정하는 대신 필요한 자료를 요청할 수 있다. 질문이 모호하면 가능한 해석을 밝히고 확인 질문을 할 수 있다. 업무가 바뀌었다면 예전 성능 기록에 기대기보다 새 자료로 검사해야 한다. 여러 AI의 답이 일치한다는 사실도 독립된 사실 확인과는 다르다.

정확도와 확률 보정

정확도는 맞힌 비율이다. 보정은 제시한 확률과 실제 정답 비율의 관계다.

정확도 질문

100건 중 몇 건을 맞혔는가?

보정 질문

90%라고 예측한 사례 중 실제로 약 90%를 맞혔는가?

정확도 = 정답 수 / 평가한 사례 수 같은 업무에서 비슷한 확률을 받은 사례를 모아 정답률을 비교한다.

개념 해설

확률 보정은 한 사례가 반드시 맞는다고 보장하는 성질이 아니다. 충분한 사례를 모았을 때 확률과 관측 비율이 맞는지를 본다. 잘 보정된 시스템도 낮은 확률의 문제를 많이 받으면 정확도가 낮을 수 있다. 반대로 정확도가 높아도 틀리는 사례에 지나치게 높은 확률을 줄 수 있다.

평균 확률 75%, 실제 정확도 60%

예측 확률과 정답 기록을 같은 표에 놓고 차이를 계산한다.

평균 정답 확률	사례 수	정답 수	관측 정답률
90%	10	6	60%
60%	10	6	60%
전체	20	12	60%

평균 정답 확률 = (10×0.9 + 10×0.6)/20 = 0.75 이 예제의 두 구간 ECE = 0.5×|0.6−0.9| + 0.5×|0.6−0.6| = 0.15

개념 해설

표의 수치는 수업용 가상 데이터다. 90%를 부여한 구간은 관측 정답률보다 30%포인트 높고, 60% 구간은 관측값과 같다. 각 구간의 사례 비중을 곱해 더하면 보정오차는 15%포인트가 된다. 표본 20건만으로 실제 서비스의 보정을 입증할 수는 없다. 평가 결과를 보고 확률을 조정했다면 다른 자료에서 다시 확인해야 한다.

단정적인 문장과 검증된 확률

AI가 말한 확신과 평가 자료로 확인한 확률을 구분한다.

관찰	알 수 있는 것	추가로 필요한 것
문장이 단정적이다	표현 방식	사실 확인
90% 확신한다고 썼다	자기평가 응답	같은 업무의 보정 검사
90% 구간의 정답률이 약 90%다	해당 자료에서의 보정	새 고객과 시점의 재평가

개념 해설

자기평가 확률의 유용성은 모델과 질문 형식, 평가 과제에 따라 달라진다. Kadavath 등의 연구는 특정 모델과 질문 형식에서 자기평가의 가능성을 보였다. 동시에 새 과제에서 보정이 어려운 경우도 보고했다. 숫자를 운영 기준으로 쓰려면 현재 업무에서 확률과 결과를 비교해야 한다. 정중한 말투, 긴 이유 설명, 반복된 확신은 이 검사를 대신하지 못한다.

확인 ① 확률을 어떻게 읽을까

정답 확률 90%를 부여한 100건 중 60건만 맞았다.

이 평가 자료에서 가장 타당한 해석은 무엇인가?

정확도는 90%다.
단정적인 문장은 모두 거짓이다.
이 확률 구간은 관측 정답률보다 과신한다.
확률을 60%로 고치면 정답 수가 자동으로 늘어난다.

개념 해설

확률값과 정답 수를 같은 것으로 세지 않는 것이 이 문제의 핵심이다. 90%라는 표시는 실제 결과를 요약한 관측값이 아니라 시스템의 예측이다. 그 표시가 맞는지를 결과 기록으로 확인한다. 이 구간을 60%로 조정해도 기존 답의 참·거짓은 바뀌지 않는다.

어려운 질문은 보류할 수 있다

답변한 비율과 답변한 경우의 오류율을 함께 기록한다.

답변률 = 답변한 사례 수 / 전체 사례 수 답변 오류율 = 잘못 답한 사례 수 / 답변한 사례 수 보류한 사례는 답변 오류율의 분모에 들어가지 않으므로 보류 수를 함께 보여 준다.

개념 해설

선택적 예측은 모든 입력에 답하는 대신 일부 입력의 예측을 보류한다. 오류율만 보면 많이 보류한 시스템이 좋아 보일 수 있다. 따라서 맡길 수 있는 업무의 범위도 함께 비교한다. 한 건도 답하지 않은 경우 답변 오류율은 0%가 아니라 분모가 없어 정의되지 않는다. 보류한 사례가 실제로 어떻게 처리됐는지도 운영 기록에 남겨야 한다.

100건 중 30건을 사람이 확인한다면

모든 질문에 자동 답변할 때와 일부를 보류할 때를 비교한다.

정책	자동 답변 수	자동 답변 오류	보류 수
전부 자동 답변	100	20	0
일부 보류	70	7	30

일부 보류의 답변률 = 70/100 = 70% 답변한 경우의 오류율 = 7/70 = 10% 보류한 30건에는 검토 전 오류 13건이 있다고 가정한다.

개념 해설

두 정책은 같은 가상 100건에 적용한다. 두 번째 정책에서 답변한 70건 중 63건이 맞았다. 이를 전체 100건의 정확도가 90%라고 쓰면 안 된다. 나머지 30건은 추가 처리를 기다린다. 신뢰도 기준으로 보류 대상을 골랐다면 그 기준이 실제로 어려운 사례를 가려내는지 별도 평가 자료로 확인해야 한다.

검토 비용을 넣어 계산하기

오류 1건의 비용은 50, 사람 검토 1건의 비용은 2라고 가정한다.

정책	오류 비용	검토 비용	합계
전부 자동 답변	20×50 = 1000	0	1000
30건 보류·검토 오류 없음	7×50 = 350	30×2 = 60	410

개념 해설

410은 검토자가 보류 사례의 오류를 모두 바로잡는다는 가정의 결과다. 실제 운영 비용을 예측한 수치가 아니다. 가정을 적으면 사람이 완벽하지 않을 때 결과를 다시 계산할 수 있다. 금전으로 표시하기 어려운 권리 침해나 안전 문제는 이 단순 합계만으로 판단하지 않는다. 숫자 계산은 조건을 명확히 하는 도구다.

검토자도 오류를 놓친다면

사람이 보류 사례의 오류 13건 중 절반만 발견한다고 가정해 보자.

토론: 검토자의 정확도가 낮아질 때, 보류 정책을 평가할 자료는 무엇인가?

예상 잔여 오류 = 7 + 13×0.5 = 13.5건 예상 비용 = 13.5×50 + 30×2 = 735 13.5건은 관측 건수가 아니라 반복 운영에서의 기대값이다.

개념 해설

AI가 답변한 70건의 오류 7건은 그대로 남고, 검토로 넘어간 오류 13건 중 평균 6.5건이 남는다. 이 예제는 검토자가 원래 맞던 답을 틀리게 바꾸는 경우와 인력 용량의 한계를 생략한다. 실제 평가에서는 그런 문제도 측정해야 한다. 사람이 마지막에 확인한다는 설명만으로 비용이나 피해가 줄었다고 결론 내릴 수 없다.

자동화 편향

사람은 자동화 도구의 권고를 따르면서 필요한 확인을 놓칠 수 있다.

확인 생략

도구가 문제를 알리지 않았다는 이유로 필요한 검사를 하지 않는다.

잘못된 권고 수용

원문과 다른 권고를 충분히 검토하지 않고 따른다.

검토할 대상

최종 답뿐 아니라 사람이 판단을 바꾼 과정도 본다.

개념 해설

자동화 편향은 사람이 자동화된 판단에 기대며 생기는 오류를 설명하는 개념이다. Parasuraman과 Riley는 1997년 논문에서 과도한 의존과 감시 실패를 다뤘다. 생성형 AI의 문장도 검토자의 출발점이 될 수 있으므로 같은 문제를 질문할 수 있다. 과거 연구의 결과를 현재 모든 서비스에서 같은 크기의 효과가 난다는 수치로 옮기지는 않는다.

실제로 판단할 수 있는 검토

검토자는 이름만 걸어 두는 사람이 아니라 근거를 읽고 결정을 바꿀 수 있는 사람이어야 한다.

검토 조건	확인할 질문
자료 접근	원문과 적용 기준을 볼 수 있는가
시간	필요한 확인을 할 시간이 있는가
판단 권한	AI의 답을 거절하거나 수정할 수 있는가
기록과 대응	수정 이유와 반복 오류를 남기는가

개념 해설

검토가 작동하려면 무엇을 확인할지 정해야 한다. 원문을 볼 수 없는 사람에게 확인 버튼만 맡기면 실질적 판단을 기대하기 어렵다. 수정 권한과 충분한 시간도 필요하다. 이 표는 수업에서 검토 절차를 설계하기 위한 제안이다. 항목을 채웠다는 사실만으로 그 절차의 효과가 입증되는 것은 아니므로 실제 오류를 기록해 검사한다.

확인 ② 사람의 검토가 작동하려면

담당자는 AI의 탈락 판정 목록만 보고 확인 버튼을 누른다.

실질적인 검토를 위해 가장 먼저 보완할 조건은 무엇인가?

버튼 색상을 더 눈에 띄게 바꾼다.
원문과 자격 기준을 읽고 판정을 바꿀 시간·권한을 준다.
AI 판정을 두 번 같은 화면에 보여 준다.
검토자를 문서에 기재하면 추가 조건은 필요 없다.

개념 해설

이 문제는 화면의 유무보다 검토자의 실제 행동과 권한을 묻는다. AI의 판정을 그대로 승인했다면 왜 승인했는지 확인할 수 있어야 한다. 개인정보 보호법상 자동화된 결정의 판단에서도 사람의 개입이 실질적인지 살핀다. 여기서 제시한 사례만으로 해당 서비스의 법적 지위를 확정하지는 않는다.

오류를 네 칸으로 나누기

지원 자격 판정에서 어떤 방향으로 틀렸는지 구분한다.

	AI: 자격 충족	AI: 자격 미충족
기준: 자격 충족	TP: 올바른 충족 판정	FN: 자격자를 놓침
기준: 자격 미충족	FP: 잘못된 충족 판정	TN: 올바른 미충족 판정

개념 해설

양성은 좋다는 뜻이 아니라 이번 문제에서 검출하려는 상태를 뜻한다. 여기서는 지원 자격 충족을 양성으로 정했다. FN은 자격을 갖춘 사람을 놓친 오류이고 FP는 자격이 없는 사람을 충족으로 분류한 오류다. 어떤 상태를 양성으로 정했는지 먼저 밝혀야 지표의 의미가 바뀌지 않는다. 기준 판정도 완벽하다고 가정하지 않고 마련한 근거를 살핀다.

두 집단의 판정 기록

A와 B는 각각 100명이다. 기준에 따른 실제 자격자는 A 50명, B 25명이다.

토론: 두 집단에서 올바르게 판정한 인원은 각각 몇 명인가?

집단	TP	FN	FP	TN	전체
A	45	5	10	40	100
B	15	10	5	70	100

개념 해설

수치는 실제 학교나 기업의 데이터를 나타내지 않는다. A의 정답 수는 TP 45명과 TN 40명을 더한 85명이다. B도 TP 15명과 TN 70명을 더하면 85명이다. 정확도만 비교하면 같지만 각 오류의 종류와 분모는 다르다. 집단의 실제 자격 비율이 다르다는 사실을 숨기지 않고 표와 함께 읽어야 한다.

지표마다 분모가 다르다

‘몇 퍼센트가 틀렸는가’라고 묻기 전에 누구를 분모로 삼았는지 확인한다.

지표	계산	이 사례의 질문
정확도	(TP+TN)/전체	전체에서 얼마나 자주 맞혔는가
참양성률 TPR	TP/(TP+FN)	실제 자격자를 얼마나 찾아냈는가
거짓음성률 FNR	FN/(TP+FN)	실제 자격자를 얼마나 놓쳤는가
거짓양성률 FPR	FP/(FP+TN)	실제 미자격자를 얼마나 잘못 통과시켰는가

개념 해설

FN을 전체 인원으로 나누면 전체에서 탈락 오류가 차지한 비중을 구한다. 자격자 중 놓친 비율을 알고 싶으면 TP와 FN의 합을 분모로 써야 한다. 서로 다른 지표는 서로 다른 질문에 답한다. 계산을 보고할 때 양성의 정의와 분모를 쓰면 같은 숫자를 다른 뜻으로 읽는 문제를 줄일 수 있다.

정확도 85% 안에 숨은 차이

자격을 갖춘 사람을 놓치는 비율은 A 10%, B 40%다.

지표	A	B
정확도	85/100 = 85%	85/100 = 85%
참양성률	45/50 = 90%	15/25 = 60%
거짓음성률	5/50 = 10%	10/25 = 40%
거짓양성률	10/50 = 20%	5/75 ≈ 6.67%

개념 해설

같은 정확도라는 사실은 두 집단이 같은 방식으로 대우받았다는 증거가 아니다. B에서는 자격자 25명 가운데 10명을 놓쳤다. A에서는 자격자 50명 가운데 5명을 놓쳤다. 이 차이의 원인과 적절한 대응은 추가 자료로 확인해야 한다. 표 하나로 법적 차별이나 의도를 확정할 수는 없지만 어떤 오류를 먼저 조사할지는 알 수 있다.

공정성을 묻는 서로 다른 질문

서로 다른 공정성 지표는 서로 다른 조건을 비교한다.

인구통계적 동등성

집단별 양성 판정 비율을 같게 두는 통계적 기준.

기회균등

실제 양성인 사람 가운데 찾아낸 비율, 즉 참양성률을 집단 간 같게 두는 기준.

균등화된 오즈

참양성률과 거짓양성률을 각각 집단 간 같게 두는 기준.

개념 해설

이 지표들은 수학적 평가 기준이며 사회의 모든 공정성 문제를 해결하는 정의는 아니다. 어떤 기회와 피해를 평가할지 먼저 정해야 한다. 비교 기준으로 쓴 자격 판정도 역사적 불이익이나 잘못된 기록을 담을 수 있다. 집단별 수치와 함께 기준값의 타당성과 영향을 받는 사람의 경험을 살핀다.

확인 ③ 자격자를 놓치는 비율

B의 TP는 15명, FN은 10명, FP는 5명, TN은 70명이다.

B의 실제 자격자를 놓친 비율은 얼마인가?

10/100 = 10%
10/25 = 40%
10/20 = 50%
15/25 = 60%

개념 해설

질문에 적힌 ‘실제 자격자’를 분모로 삼는다. 전체 인원이나 AI가 충족이라고 판정한 인원을 분모로 삼으면 다른 지표가 된다. 한 집단의 참양성률과 거짓음성률은 같은 실제 양성 집단을 나누므로 합이 100%다. 이 관계를 이용하면 계산을 점검할 수 있다.

배포한 뒤 입력이 달라진다

평가 때의 고객과 운영 때의 고객이 다르면 예전 성능을 그대로 기대하기 어렵다.

고객 구성

복잡한 문의가 늘어나 전체 오류가 많아진다.

환경과 자료

다른 기관의 문서 형식이나 표현을 받는다.

판단 기준

새 규정이 적용되어 정답의 기준이 바뀐다.

개념 해설

WILDS는 병원, 지역, 시점 등이 다른 실제 환경에서의 분포 이동을 평가한다. 이런 변화는 평가 자료가 실제 사용 조건을 충분히 반영하는지 묻게 한다. 세 카드의 변화는 모두 성능을 다시 확인할 이유가 되지만 같은 수학적 현상은 아니다. 다음 계산은 고객 구성만 바뀌고 문의 유형별 정확도는 그대로인 상황을 다룬다.

91.5%에서 77.5%로

단순 문의의 정확도 95%, 복잡 문의의 정확도 60%는 그대로라고 가정한다.

시점	단순 문의 비중	복잡 문의 비중	전체 정확도
배포 전	90%	10%	0.9×0.95 + 0.1×0.60 = 91.5%
배포 후	50%	50%	0.5×0.95 + 0.5×0.60 = 77.5%

전체 정확도 차이 = 91.5% − 77.5% = 14%포인트 문의 유형별 정확도는 변하지 않아도 구성 비율이 바뀌면 전체 정확도가 달라진다.

개념 해설

가중평균에서 가중치는 문의 유형의 비중이다. 이 예제의 성능 하락은 모델 자체가 변해서 생긴 것이 아니다. 복잡한 문의가 많아져 전체 정답률이 낮아졌다. 전체 수치만 보면 원인을 구분하기 어렵다. 실제 운영에서는 고객 구성과 업무별 정확도를 함께 기록하고, 문의 유형을 나누는 기준도 일관되게 유지한다.

다시 검사할 시점을 정하기

모델, 자료, 고객, 규칙이 바뀌면 어떤 부분을 재검사할지 정한다.

변경	재검사할 대상
모델 변경	기존 업무의 답변과 오류
새 고객·문서	집단별·유형별 성능
기준 문서 변경	새 기준의 정답과 검색 자료
반복 오류 신고	오류 원인과 수정의 효과

개념 해설

성능 기록에는 모델과 자료의 버전, 평가 시점, 고객 구성을 함께 적는다. 규정이 바뀌었는데 예전 정답을 기준으로 채점하면 최신 답이 오답으로 기록될 수 있다. 오류가 반복되면 기준을 조정하는 데서 끝내지 않고 수정한 뒤 다시 확인한다. 서비스를 중지하거나 사람의 처리로 바꿀 권한도 미리 정해야 한다.

모델, 채팅 앱, API

모델의 이름과 사용자가 접근하는 상품을 구분해야 같은 대상을 비교할 수 있다.

모델은 결과를 생성하는 구성 요소다.

채팅 앱은 모델과 도구를 사용자가 대화로 이용하는 상품이다.

API는 프로그램이 기능을 호출하는 인터페이스다.

회사	모델 계열	채팅 앱	개발용 접근
OpenAI	GPT 계열	ChatGPT	OpenAI API
Anthropic	Claude 계열	Claude	Claude API·Console
Google	Gemini 계열	Gemini 앱	Google AI Studio·Gemini API

개념 해설

모델, 채팅 상품, 프로그램 연결 방식은 구분해야 한다. 같은 계열 이름을 쓰더라도 실제 모델과 기능은 상품과 사용 모드에 따라 달라질 수 있다. 화면은 사용자가 입력하고 결과를 확인하는 방식이다. 화면 결과를 비교하면 모델 외에 검색과 자료 연결 기능도 결과에 관여할 수 있다. 채팅 구독과 API 접근은 별도 상품 조건을 확인해야 하며, 일부 구독의 API 크레딧 포함 여부도 회사와 계약마다 다르다. 이 표는 현재 요금이나 제품 성능의 순위를 제시하지 않는다.

세 서비스를 같은 과제로 비교하기

결과를 본 뒤 평가 기준을 바꾸지 않는다.

조건	가상 비교 실험의 설정
과제	주어진 안내문에서 신청 날짜·방법·금액 추출
자료	세 서비스에 같은 가상 안내문 제공
도구	자료 추출 실험에서는 외부 검색 조건을 동일하게 제한
평가	미리 만든 정답, 누락, 추가 주장, 보류 수
반복	같은 조건에서 여러 번 실행해 편차도 기록

개념 해설

이 비교는 주어진 안내문에서 날짜·방법·금액을 추출하는 과제에 한정한다. 외부 검색을 포함한 전체 서비스의 편의성을 비교하려면 검색을 금지할 필요는 없지만 목적과 조건을 따로 밝혀야 한다. 자료 추출 성능을 비교할 때 한 서비스만 추가 자료를 쓰면 원인을 해석하기 어렵다. 모델명을 알 수 없으면 모른다고 기록하고 서비스와 사용 시점을 적는다. 검색 여부나 설정을 같게 맞출 수 없으면 그 차이를 기록하고 결론의 범위를 줄인다.

비교 결과를 과장하지 않기

비교 결과는 평가한 과제와 자료, 사용 조건을 함께 밝혀야 해석할 수 있다.

가장 좋았던 한 답변만 골라 비교하지 않는다.

정답 수와 함께 누락·추가 주장·보류를 기록한다.

평가 시점과 모델·서비스 조건을 밝힌다.

회사 전체의 능력이나 모든 한국어 업무로 넓혀 말하지 않는다.

개념 해설

몇 건의 예제로 제품의 보편적인 우열을 확정할 수는 없다. 특정 안내문에서 좋은 결과가 나왔다면 우선 그 조건에서의 관찰로 보고한다. 사람이 읽기 편한 답변과 사실이 맞는 답변을 나누어 평가하면 말투가 정확도 평가를 대신하는 문제를 줄일 수 있다. 버전이 바뀌면 결과도 바뀔 수 있으므로 비교 조건을 다시 확인한다.

책임을 맡을 사람과 절차

책임은 오류가 난 뒤 이름을 찾는 것보다 사용 전에 역할과 권한을 정하는 데서 시작한다.

역할	정할 내용
업무 책임자	AI에 맡길 범위와 허용할 오류
데이터 담당자	처리 목적, 접근, 보관과 삭제
검토·결정 담당자	원문 확인과 최종 수정 권한
운영 담당자	오류 접수, 재평가, 서비스 중지

개념 해설

NIST 위험관리 틀은 책임과 규칙, 사용 맥락, 측정, 대응을 연결한다. 여기서 책임과 규칙은 다른 활동 전반에 적용된다. 한국의 고영향 AI에 관한 사업자 의무에는 위험관리, 가능한 범위의 설명, 이용자 보호, 사람의 관리·감독과 문서 보관 등이 포함된다. 어떤 서비스에 적용되는지는 해당 법의 범위와 확인 절차를 함께 살펴야 한다.

AI 사용 고지와 결과물 표시

사업자의 고지 의무와 학생 과제의 출처 표시 규칙은 적용 범위가 다르다.

구분	살필 내용
고영향·생성형 AI 제품·서비스	대상 사업자의 사전 고지
생성형 AI 결과물	AI 생성 사실의 표시
실제처럼 보이는 합성물	이용자가 알 수 있는 고지·표시
학생 과제	학교의 사용 허용 범위와 제출 규칙

개념 해설

인공지능기본법 제31조는 고영향 AI와 생성형 AI를 이용한 제품·서비스를 제공하는 사업자의 고지·표시를 규정한다. 표시 방법과 예외는 시행령에 정해져 있다. 학생 과제의 AI 사용 허용 범위와 공개 방식은 학교의 평가·제출 규칙도 함께 확인한다.

개인정보와 자동화된 결정

개인정보를 처리해 완전히 자동으로 내린 결정에는 거부와 설명 요구의 문제가 생길 수 있다.

거부권

권리·의무에 중대한 영향을 미치는 결정인지와 법의 예외를 확인한다.

설명 요구

자동화된 결정에 대한 설명 요구는 별도 조항으로 살핀다.

실질적 개입

담당자가 자료를 검토하고 최종 결정을 바꿀 수 있는지 확인한다.

개념 해설

개인정보 보호법 제37조의2의 거부권과 설명 요구는 적용 조건이 같지 않다. 거부권의 예외는 동의 등 법 제15조제1항제1·2·4호에 따라 이루어진 자동화된 결정에 관한 규정이다. 단순 추천과 개인정보처리자가 확정한 결정도 구분해야 한다. 형식적으로 확인 버튼을 누른 것만으로 실질적인 판단이 있었다고 단정할 수 없다. 실제 개인정보 입력에는 별도의 처리 근거와 보호 조건도 필요하다.

입력 자료의 이용 범위를 확인한다

읽을 수 있는 자료와 외부 서비스에 복제·전송할 수 있는 자료는 범위가 다를 수 있다.

직접 작성한 문서라도 공동 저작·기밀·개인정보 조건을 확인한다.

책·사진·대본·음악은 권리자와 이용 허락, 사용 목적과 범위를 살핀다.

공개 자료는 저작자·원출처·라이선스·변경 내용을 기록한다.

개념 해설

자료 접근 권한과 재사용 조건을 구분한다. CC BY-SA 사진을 재사용할 때는 저작자·라이선스·변경 내용을 표시한다. 사진을 변형해 공유할 때는 같거나 호환되는 라이선스 조건도 적용한다. 수업에서 볼 수 있는 교재를 공개 웹사이트에 통째로 올릴 수 있다고 전제하지 않는다. AI 서비스의 데이터 처리 약관과 자료의 권리 조건도 별개로 확인한다.

생성물의 권리와 사람이 한 작업

AI가 만든 결과라는 이유만으로 타인의 표현과 무관하거나 자유롭게 쓸 수 있다고 판단하지 않는다.

입력과 결과 비교

기존 글·그림의 표현이 그대로 남았는지, 제3자의 권리가 포함됐는지 확인한다.

창작 과정 기록

사람이 작성·선택·배열·수정한 내용을 생성 부분과 구분해 남긴다.

공개·등록 조건 확인

사용 허락, 서비스 약관, 실제 창작 기여와 등록 안내를 함께 검토한다.

개념 해설

확인 ④ 새 고객에게 서비스를 열기 전에

기존 고객의 정확도는 높았지만 새 고객의 문서와 업무 조건은 다르다.

새 고객에게 운영 범위를 넓히기 전에 가장 타당한 조치는 무엇인가?

기존 전체 정확도가 높으므로 바로 모든 결정을 자동화한다.
같은 회사의 모델이므로 재검사는 생략한다.
새 고객과 업무를 반영해 오류·보류·검토 절차를 검사한다.
화면에 AI라고 표시하면 성능 검사와 정정 절차는 필요 없다.

개념 해설

운영 범위를 넓힐 때는 새 자료의 유형과 고객 구성, 정답 기준이 달라졌는지 살핀다. 검사 결과로 자동 처리 범위와 사람에게 넘길 조건을 다시 정한다. 사용자에게 정보를 알리는 일과 오류를 측정하고 바로잡는 일은 서로 다른 역할을 한다. 자신의 아이디어에서도 이 세 가지 조건을 각각 구체적인 절차로 적어 볼 수 있다.

심화: 보정오차의 한계

ECE 하나로 모든 확률 예측의 문제를 볼 수는 없다.

구간을 어떻게 나누는지에 따라 값이 달라진다.

사례가 적은 구간은 관측 비율이 크게 흔들릴 수 있다.

전체 평균은 특정 업무나 집단의 과신을 가릴 수 있다.

개념 해설

ECE는 구간별 차이를 평균으로 요약한다. 같은 평균값을 가진 시스템이라도 어느 구간에서 과신하는지 다를 수 있다. 숫자 옆에 구간별 사례 수와 정답률을 함께 놓으면 해석에 도움이 된다. 보정에 쓴 자료와 최종 평가 자료도 분리한다. 보정오차가 작다는 결과를 모든 입력에 대한 정답 보장으로 읽지 않는다.

심화: 두 가지 온도 조정

분류 확률을 보정하는 온도와 답변 생성의 다양성을 조절하는 온도는 사용 목적이 다르다.

구분	분류 확률 보정	생성 설정
목적	확률과 실제 정답률의 차이 줄이기	생성할 후보의 분포 조절
자료	정답이 있는 별도 검증 자료	생성할 입력과 사용 설정
해석	확률을 바꾸되 분류 순위를 유지할 수 있음	정확도나 사실성 보장이 아님

개념 해설

Guo 등의 온도 조정은 분류기의 점수를 하나의 양수로 나눈 뒤 확률을 다시 계산하는 방식이다. 가장 높은 점수의 순서를 유지하므로 분류 정확도는 그대로일 수 있다. 이는 문장을 생성할 때 후보의 선택을 조절하는 설정과 구분해야 한다. 생성 온도를 낮추었다는 사실만으로 사실 확인이나 보정 검사를 생략할 수는 없다.

심화: 검토 비용이 기준을 바꾼다

검증된 오류 확률 p와 오류 비용 50, 검토 비용 2를 가정한다.

자동 답변의 기대 비용 = 50p 사람 검토의 비용 = 2 50p ≤ 2 ⇔ p ≤ 0.04 이 가정에서는 검증된 정답 확률 96% 이상일 때 자동 답변의 비용이 더 작거나 같다.

개념 해설

검토 후 오류가 없고 검토 인력에 한계가 없다는 단순 가정이다. 96%는 모든 업무에 권할 기준이 아니다. 오류 비용이 커지거나 검토 비용이 줄면 자동 답변의 기준이 높아진다. 자연어로 말한 자기평가 숫자를 이 식의 p로 바로 넣지 않는다. 실제 업무의 확률 검증과 금전 외 제약을 먼저 살핀다.

심화: 통과 판정 중 실제 자격자는

참양성률과 양성예측도는 같은 분모를 쓰지 않는다.

양성예측도 PPV = TP/(TP+FP) A: 45/55 ≈ 81.82% B: 15/20 = 75% AI가 자격 충족으로 판정한 사람 중 실제로 자격을 갖춘 비율이다.

개념 해설

참양성률은 실제 자격자를 출발점으로 삼고 양성예측도는 AI의 충족 판정을 출발점으로 삼는다. 신청자가 양성 판정을 받았을 때 그 판정의 의미를 읽으려면 두 번째 질문이 필요하다. 집단별 실제 자격 비율이 다르면 지표 관계도 달라질 수 있다. 어느 지표를 같게 할지 정할 때 목적과 오류의 영향을 먼저 설명해야 한다.

심화: 기준 판정도 검토 대상이다

AI와 비교할 정답을 어떻게 만들었는지 확인한다.

기준의 근거

현재 규정과 실제 업무 목적에 맞는가?

사람 간 불일치

같은 사례를 다른 담당자가 다르게 판정하는가?

자료의 범위

새 고객과 어려운 사례가 충분히 포함되는가?

개념 해설

평가 자료의 정답을 실제 결과와 동일시하면 정답에 남은 오류를 놓칠 수 있다. 과거 승인 기록은 과거의 판단을 보여 줄 뿐 현재의 공정한 기준을 자동으로 증명하지 않는다. 기준이 모호한 사례는 전문가의 검토와 불일치 기록이 필요하다. 문서 버전이 바뀌면 정답 기록도 새 기준에 맞게 확인한다.

심화: 법률, 안내서, 자율 기준

세 종류의 자료가 하는 일과 적용 범위를 구분한다.

자료	성격	이 수업의 예
법률·시행령	적용 대상에게 의무와 권리를 정함	AI 고지·표시, 자동화된 결정의 권리
기관 안내서	법 해석과 실무 기준을 설명	개인정보 처리, AI 저작권 안내
자율 위험관리 틀	위험을 파악하고 대응을 정하는 도구	NIST AI RMF

개념 해설

법률과 시행령은 적용 대상에게 의무와 권리를 정한다. 기관 안내서는 법적 의무를 해설하고 실무상 권고도 제시하므로 두 내용을 구분해서 읽는다. 이 자료의 한국 법령 기준일은 2026년 10월 9일이다. 개정된 법을 읽을 때는 개정일과 시행일을 함께 확인한다.

심화: 수요 검증과 성능 검증

고객이 사용할 이유와 시스템이 감당할 수 있는 업무를 따로 검증한다.

질문	필요한 관찰
고객이 원하는가	실제 사용, 시간·노력·비용을 들인 행동
기능이 맞게 작동하는가	업무별 정답, 오류, 답변 보류
운영해도 되는가	피해, 데이터 조건, 검토와 정정 절차

개념 해설

Alberto Savoia의 The Right It 관련 저자 자료는 제품을 본격적으로 만들기 전에 수요를 시험하는 관점을 설명한다. 고객이 원한다는 증거가 AI의 정확도나 안전성을 증명하지는 않는다. 반대로 정확하게 동작하는 기능도 고객이 필요로 하지 않을 수 있다. 수요·성능·운영 조건의 검증에는 서로 다른 자료가 필요하다. 고객의 사용 의사는 행동으로, 정확도는 평가 자료로, 법적 조건은 법령과 계약으로 확인한다.

심화: 운영 조건을 문장으로 적기

‘사람이 확인한다’는 말 대신 누가 무엇을 보고 어떻게 바꿀지 쓴다.

자신의 AI 아이디어에 아래 문장을 완성하자.

AI는 ○○ 업무의 초안을 작성하고, 최종 결정은 ○○가 한다.
○○ 조건이면 답변을 보류하고 ○○ 자료를 확인한다.
성능은 ○○ 자료로 ○○ 지표를 측정한다.
○○ 변화나 반복 오류가 발생하면 사용 범위를 줄이거나 중지한다.
이용자는 ○○ 경로로 설명과 정정을 요청한다.

개념 해설

운영 조건은 구현보다 앞서 가정을 드러내는 자료다. 담당자와 판단 기준을 적으면 확인할 수 없는 부분을 찾기 쉽다. 고객의 수요, 기술 성능, 사용의 영향을 각각 검증할 방법도 정한다. 조건을 적었다는 사실은 검증을 끝냈다는 뜻이 아니므로 실제 결과를 기록하고 필요한 조건을 수정한다.

강의 목차

교재 · 영상 · 참고문헌