6주차 · 아이디어 검증: 프리토타이핑
슬라이드 이동·퀴즈·계산기를 사용하려면 JavaScript를 켜 주세요.
아이디어 검증: 프리토타이핑
큰 개발비를 쓰기 전에 고객의 행동을 관찰한다.
5주차에 쓴 XYZ 가설을 시험 계획으로 옮긴다.
여덟 기법에서 알아낼 수 있는 것과 남는 질문을 구분한다.
관측 결과로 다음 실험과 투자 규모를 정한다.
개념 해설
이번 주에는 AI 서비스가 유용할 것이라는 기대를 관찰 가능한 행동으로 바꾼다. 신청·결제·반복 이용은 각각 다른 질문에 답한다. 작은 시험에서 얻은 결과가 어디까지 적용되는지도 함께 살핀다.
이번 주에 남길 결과물
팀의 아이디어를 시험할 수 있는 한 장의 계획과 결과 해석을 만든다.
시험 설계
가설·대상·제공 조건·측정 행동·판단 기준을 적는다.
자료 읽기
인원, 비율, 비용, 관찰 기간과 모집 경로를 함께 읽는다.
다음 결정
계속 시험할지, 가설을 바꿀지, 현재 안을 중단할지 근거를 적는다.
개념 해설
완성된 앱을 만드는 것이 이번 주의 결과물은 아니다. 현재 가설을 가장 적은 자원으로 알아볼 방법을 고르고, 그 방법으로 답하지 못하는 질문까지 명시한다.
XYZ 가설을 다시 확인하기
X는 최소 비율, Y는 목표 고객군, Z는 관찰할 행동이다.
가상 예: 이번 주 발표를 준비하는 목표 고객의 최소 30%가 정리 서비스를 5,000원에 결제할 것이다.
실험에서는 누구에게 어떤 설명을 제시하고 언제까지 셀지 추가로 정한다.
신청·결제·재구매 중 어떤 행동을 보는지 바꾸지 않는다.
Savoia의 기본 형식
적어도 X%의 Y는 Z할 것이다.
개념 해설
XYZ는 고객·문제·해법을 세 칸에 넣는 약자가 아니다. 목표 시장의 최소 비율이 어떤 행동을 할지 적는 형식이다. 한 동아리에서 시험한 결과는 그 동아리의 조건에서 얻은 자료이며 전체 학생 시장의 결과와 같다고 가정할 수 없다.
말과 행동은 서로 다른 자료다
관심을 표현한 사람이 실제로 시간을 내거나 돈을 내는지 살핀다.
| 관찰 | 답할 수 있는 질문 | 남는 질문 |
|---|
| 인터뷰에서 필요하다고 말함 | 어떤 상황과 불편을 설명하는가? | 실제로 이용할까? |
| 체험 시간을 예약함 | 일정을 잡을 만큼 관심이 있는가? | 예약한 날 참여할까? |
| 서비스를 결제함 | 이 가격과 조건에 지불하는가? | 다시 이용할까? |
개념 해설
인터뷰는 고객이 겪는 문제와 표현을 발견하는 데 도움이 된다. 결제 수요를 주장하려면 결제 행동이 필요하다. 자료의 쓸모는 숫자의 크기보다 지금 답하려는 질문과의 관계에서 결정된다.
의도가 강해져도 행동이 같은 만큼 늘지는 않는다
참가자가 무엇을 하겠다고 말했는지와 실제로 무엇을 했는지를 따로 기록한다.
시간 부족, 결제 부담, 일정 변경, 기존 습관이 행동을 막을 수 있다.
Webb와 Sheeran은 의도 변화와 행동 변화를 비교한 47개 실험을 분석했다.
이 연구의 효과 크기를 우리 서비스의 구매 전환율로 바꿔 쓰지는 않는다.
개념 해설
2006년 메타분석에서 의도 변화의 효과 크기는 d=0.66, 행동 변화는 d=0.36이었다. 이는 서로 다른 연구를 종합한 결과이며 “구매 의향의 몇 퍼센트가 구매한다”는 계수가 아니다. 따라서 우리 가설의 행동은 우리 조건에서 직접 관찰해야 한다.
프리토타입·프로토타입·MVP
같은 모형이나 수작업 서비스도 무엇을 배우려 하느냐에 따라 이름이 달라질 수 있다.
| 개념 | 주로 답하려는 질문 | AI 서비스 예 |
|---|
| 프리토타입 | 사람들이 이 제안을 선택하고 사용할까? | 수작업 정리 서비스로 신청·결제 관찰 |
| 프로토타입 | 구현·성능·사용성은 어떤가? | 음성 인식과 요약 기능의 오류 시험 |
| MVP | 적은 노력으로 고객에 관한 검증된 학습을 얻을까? | 소수 고객에게 핵심 서비스 제공·학습 |
개념 해설
Savoia는 큰 개발 전에 시장 반응을 살피는 목적을 강조한다. Ries의 MVP도 학습을 중심에 둔다. 세 개념은 서로 겹칠 수 있고, 반드시 프리토타입→프로토타입→MVP 순으로 진행해야 하는 것은 아니다.
AI 서비스에는 수요와 성능 질문이 있다
고객이 결과를 원한다는 사실과 AI가 그 결과를 안정적으로 만든다는 사실을 따로 확인한다.
수요 질문
고객이 요약 결과를 읽고, 비용을 내고, 다음에도 요청하는가?
성능 질문
AI가 중요한 내용을 빠뜨리거나 잘못된 담당자를 적는가?
운영 질문
수정 시간과 처리 비용을 포함해 약속한 품질을 제공할 수 있는가?
개념 해설
사람이 만든 결과를 고객이 구매했다면 그 조건의 수요를 관찰한 것이다. 그 자료만으로 AI 성능이나 자동 운영의 수익성을 확인할 수는 없다. 수작업으로 제공했다는 조건을 기록하고 자동화 시험을 별도로 설계한다.
가장 중요한 미확인 가정을 고르기
틀렸을 때 사업 계획을 크게 바꿔야 하는 가정부터 시험한다.
| 가정 | 관찰할 행동 | 가능한 방법 |
|---|
| 회의 후 행동 목록을 받을 사람이 있다 | 체험 신청(가짜 문)·실제 결제(외관) | 가짜 문 또는 외관 |
| 회의 중 기록기를 꺼내 쓴다 | 사용 상황과 횟수 | 피노키오 |
| 비용을 내고 계속 이용한다 | 다음 회의의 재신청·재결제 | 기간을 제한한 실제 제공 |
개념 해설
이 표는 수업용 선택 예시다. 같은 가설을 다른 방법으로 시험할 수도 있다. 기능 목록보다 가설을 먼저 고르면, 결과와 무관한 화면이나 코드를 만드는 시간을 줄일 수 있다.
실험 카드에 먼저 적을 것
결과를 보기 전에 누구의 어떤 행동을 어떻게 셀지 정한다.
가설: 고객군·최소 비율·행동·가격·기한
모집: 경로·대상 조건·예상 인원·제외 조건
제공: 보여줄 내용·실제 제공 범위·수작업 여부
측정: 분자·분모·중복 처리·비용·추적 기간
결정: 다음 투자 조건·추가 확인 조건·중단 조건
개념 해설
계획을 미리 적으면 결과가 낮게 나왔을 때 분모나 행동을 바꿔 좋은 결과처럼 보이게 만드는 일을 줄일 수 있다. 새로 발견한 패턴은 기록하고 다음 시험의 가설로 삼는다.
질문 1 · 어떤 증거가 필요한가?
가설은 “제안을 본 목표 고객의 최소 20%가 5,000원을 결제한다”이다.
이 가설을 가장 직접적으로 살피는 자료는 무엇인가?
- 영상의 좋아요 수
- 제안을 본 목표 고객 수와 실제 결제자 수
- 인터뷰에서 말한 평균 만족 점수
- 신청 버튼의 색상 선호도
개념 해설
정의한 행동이 결제라면 신청이나 클릭을 같은 행동으로 취급하지 않는다. 실제 결제 전에 막힌 지점이 있다면 그 원인을 별도 관찰하고 기록한다.
미캐니컬 터크
아직 만들지 않은 자동 기능을 사람이 대신 수행한다.
| 관찰할 수 있는 것 | 이 방법만으로 알 수 없는 것 |
|---|
| 결과를 받아보려는 신청과 지불 | AI의 정확도와 처리 속도 |
| 결과를 읽고 다시 요청하는 행동 | 자동화 후의 비용과 규모 확대 |
개념 해설
교재의 빨래 개기 예에서는 기계가 하는 듯 보이는 일을 사람이 처리한다. 핵심은 자동 장치를 완성하기 전에 그 결과에 대한 수요를 살피는 것이다. 여기서 미캐니컬 터크는 Amazon의 동명 플랫폼을 뜻하지 않는다.
미캐니컬 터크로 회의 정리 수요 살피기
담당자가 회의 메모를 정리해 행동 목록을 보내고 고객의 반응을 기록한다.
제공 조건: “시범 운영 · 담당자가 정리하고 검토해 전달”
관찰: 요청 인원·결제 인원·읽은 뒤 수정 요청·다음 회의 재신청
함께 기록: 처리 시간·수정 시간·1건당 비용
개념 해설
가상 수업 예제다. 담당자의 수작업 결과에 대한 수요와 향후 AI가 만든 결과에 대한 수요는 같다고 단정할 수 없다. 나중에 자동화하면 품질과 비용이 달라질 수 있으므로 새 조건에서 다시 관찰한다.
피노키오
작동하지 않는 모형을 실제로 쓰는 듯이 사용하며 상황과 빈도를 살핀다.
| 관찰할 수 있는 것 | 이 방법만으로 알 수 없는 것 |
|---|
| 언제 꺼내고 어디에 놓는가 | 실제 소프트웨어의 편의와 오류 |
| 어떤 기능을 찾고 얼마나 자주 쓰려 하는가 | 목표 고객 전체의 구매율 |
개념 해설
제프 호킨스가 나무 모형을 들고 다닌 PalmPilot 사례는 사용 맥락을 보여준다. 교재도 관찰 대상이 본인 한 명이어서 다른 사람의 반응을 판단할 수 없다고 설명한다. 모형의 외형을 평가하는 설문만으로 이 기법을 대체하지 않는다.
피노키오로 회의 기록기 사용 살피기
버튼과 종이 화면을 붙인 모형을 회의에 가져가 사용하려는 순간을 기록한다.
상황
회의 시작·업무 배정·일정 합의 중 언제 모형을 꺼내는가?
행동
어떤 버튼과 내용을 찾는지, 놓고 잊는 때는 언제인지 남긴다.
후속 시험
다른 참가자와 실제 화면에서 같은 요구가 나타나는지 확인한다.
개념 해설
모형을 사용하는 동안 찾은 기능은 초기 설계의 단서다. 작동하지 않는 모형이므로 인식 오류, 요약 품질, 실제 입력 부담은 아직 관찰하지 못했다. 사용 관찰과 구매 가설을 각각 기록한다.
가짜 문
아직 제공되지 않는 제안의 입구를 만들고 진입하려는 행동을 관찰한다.
| 관찰할 수 있는 것 | 이 방법만으로 알 수 없는 것 |
|---|
| 정보를 본 뒤 신청하거나 구매 버튼을 누르는가 | 실제 결제와 서비스 만족 |
| 어떤 제안에 관심이 모이는가 | 실제 이용·재구매·유지율 |
개념 해설
버튼 클릭은 입구에 도달한 행동이다. 책의 가짜 책 예에서는 클릭 뒤 미출간 상태를 알리고 대기 이메일을 받는다. 상품을 제공하지 않았으므로 구매 고객 수나 매출로 세면 안 된다.
가짜 문에서 클릭 비용 읽기
광고비를 클릭 수로 나눈 값에는 “클릭당”이라는 단위가 붙는다.
가상 AI 예: 개발 준비 중인 정리 서비스의 체험 알림 버튼을 두고 클릭·신청을 관찰한다.
교재의 구매 버튼 클릭 15회는 결제 15건이 아니다.
20달러짜리 실제 결제가 15건 발생한다고 가정하면 매출은 300달러다.
실제 결제가 없었다면 관측 매출은 0달러이며 결제 고객 획득 비용은 계산할 수 없다.
교재의 가짜 책 예
60달러 ÷ 구매 버튼 클릭 15회 = 클릭당 4달러
개념 해설
개발 준비 중이라는 표시와 알림 신청은 초기 관심을 관찰하는 가상 예다. 실제 결제 의향은 후속 시험이 필요하다. 교재 177–179쪽의 4달러도 구매 버튼 클릭당 광고비로 읽는다. 한 사람의 중복 클릭을 제거했는지에 따라 클릭 횟수와 클릭한 사람 수를 구분한다.
외관
판매 접점을 갖추고 수작업이나 외부 조달로 실제 주문을 이행한다.
| 관찰할 수 있는 것 | 이 방법만으로 알 수 없는 것 |
|---|
| 제시한 가격의 실제 구매와 이용 | 자동 운영의 수익성 |
| 주문 이행 과정의 요구와 불편 | 큰 규모에서의 처리 능력 |
개념 해설
가짜 문은 진입하려는 행동을 살피고, 외관은 응답한 고객에게 약속한 상품이나 서비스를 실제로 제공한다. 교재의 CarsDirect 사례는 소매로 차량을 조달해 주문을 이행했다. 적자 주문도 수요에 대한 단서는 줄 수 있지만 이익을 보장하지는 않는다.
외관으로 발표자료 정리 서비스 제공하기
처음 다섯 건은 담당자가 정리·검토해 실제 결과물을 전달한다.
화면에는 제공 내용·가격·납기·시범 운영 범위를 적는다.
주문·결제·납품·수정 요청을 연결해 기록한다.
매출에서 작업비·수정비를 뺀 뒤 다음 다섯 건의 조건을 정한다.
개념 해설
서비스 제공 뒤 고객이 결과를 사용했는지 살필 수 있다는 점이 클릭 시험과 다르다. 결제가 발생해도 무료 노동에 의존했다면 그 비용을 포함해야 한다. 이 시험은 가상의 수작업 서비스이며 완성된 AI 서비스의 화면을 뜻하지 않는다.
유튜브
사용 장면을 영상으로 보여주고 그 제안에 대한 행동을 관찰한다.
| 관찰할 수 있는 것 | 이 방법만으로 알 수 없는 것 |
|---|
| 설명을 본 뒤 체험 예약·신청을 하는가 | 실제 기능의 성능과 사용 편의 |
| 어떤 사용 장면에 반응하는가 | 장기간 계속 이용하는가 |
개념 해설
이름은 유튜브지만 특정 플랫폼에 올리는 것만이 핵심은 아니다. 기능을 직접 만들지 않고도 사용 장면을 전달할 수 있다는 점이 중요하다. 영상 시연과 현재 제공되는 기능을 구분해 표시하고, 조회수와 구체적 행동을 따로 기록한다.
영상에서 체험 예약으로 이어지는가?
회의 메모가 행동 목록으로 바뀌는 예정 기능을 60초 영상으로 보여준다.
영상 표시: “기능 설명을 위한 시연 · 현재 개발 준비 중”
예약 제안: 다음 주 시범 서비스의 시간과 제공 범위를 안내한다.
관찰: 목표 고객의 시청·예약·예약 확인·실제 참여를 구분한다.
개념 해설
영상만 보고 좋다고 말하는 반응은 관심에 대한 자료다. 예약한 사람이 실제로 참여하는지는 다른 결과다. 교재의 FeeBird는 가상 제품의 시연 사례이므로 실제 서비스 인터페이스나 성능 근거로 제시하지 않는다.
하룻밤
오래 운영하기 전에 한정된 기간에 실제 서비스를 제공한다.
| 관찰할 수 있는 것 | 이 방법만으로 알 수 없는 것 |
|---|
| 한정된 기간의 신청·결제·운영 부담 | 평소의 지속 수요 |
| 그 기간에 일어난 이용과 재요청 | 충분한 추적 기간 없는 장기 유지율 |
개념 해설
교재의 하룻밤은 반드시 한 밤이나 한 번만 운영한다는 뜻이 아니다. 두 시간에서 두 달처럼 상대적으로 짧은 제공 기간도 포함한다. 기성 제품을 조합하는 방법을 이 기법의 정의로 쓰지는 않는다.
기간을 제한해 발표 준비 서비스 운영하기
동아리 발표 준비 기간의 이틀 동안 정리 서비스를 제공한다.
기록
요청 시간·처리 시간·완료 수·결제·수정 요구를 남긴다.
기간 효과
발표 직전이라 수요가 몰렸는지, 평소에도 필요할지 구분한다.
후속
다음 발표 때 다시 연락하고, 참여자가 재신청하는지 살핀다.
개념 해설
짧은 시험은 운영 부담과 최초 이용을 빨리 알아보게 해준다. 행사 직전이라는 조건이 수요를 높였을 수 있다. 시험 기간의 좋은 결과를 일반적인 주간 수요로 그대로 옮기지 않는다.
잠입자
고객이 이미 찾는 판매 환경에 시험 대상을 넣어 선택을 관찰한다.
| 관찰할 수 있는 것 | 이 방법만으로 알 수 없는 것 |
|---|
| 기존 상품 옆에서 선택·신청하는가 | 독자 채널의 고객 획득 비용 |
| 해당 환경에서 제안을 이해하는가 | 다른 채널과 고객군의 수요 |
개념 해설
교재는 기존 매장에 들어간 Wallhub 사례와 운영자에게 협력을 구하는 대안을 함께 소개한다. 수업 실험은 운영자와 협의한 공간에서 진행할 수 있다. 구매하려 했던 사람과 실제 결제한 사람도 구분한다.
기존 서비스 목록에 시험 제안 넣기
운영자와 협의한 동아리 지원 서비스 목록에 발표 정리 서비스를 추가한다.
기존 목록과 같은 위치·설명 형식으로 제안을 보여준다.
목록을 본 대상 수와 정리 서비스의 신청·결제를 기록한다.
동아리 운영자의 신뢰나 추천이 선택에 미친 가능성을 남긴다.
개념 해설
기존 채널에는 이미 이용자의 관심과 신뢰가 모여 있다. 그 덕분에 신청이 쉬워졌다면 새 채널에서 같은 비율이 나올지는 알 수 없다. 독자 광고의 획득 비용은 별도로 시험한다.
상표 바꾸기
기존 제품의 이름·표시·포장을 바꾸어 다른 제안에 대한 반응을 살핀다.
| 관찰할 수 있는 것 | 이 방법만으로 알 수 없는 것 |
|---|
| 바꾼 이름·가격·설명의 제안을 선택하는가 | 새 내용물이나 기술의 성능 |
| 기존 상품을 다르게 이해하는가 | 여러 요소를 바꿨을 때 각 요소의 원인 효과 |
개념 해설
교재의 상표 바꾸기는 기존 제품을 활용해 새로운 제안을 시험하는 방법이다. 이름과 가격을 함께 바꿨다면 어떤 요소가 선택에 영향을 줬는지 따로 알 수 없다. 2022년 공식 소책자의 Impostor는 제품을 대용·개조하는 더 넓은 예시이므로 이름만 같은 뜻으로 바꾸지 않는다.
같은 결과를 다른 이름으로 제안하기
같은 수작업 결과를 “회의록 정리”와 “담당자 행동 목록”으로 제안한다.
가격·내용물·제공 시간은 같게 두고 설명을 바꾼다.
선택이나 신청을 관찰하면 어떤 표현이 이해와 관심에 연결되는지 알 수 있다.
효과를 비교하려면 동등한 대상에게 제안을 나누는 방법을 추가로 설계한다.
개념 해설
정보 서비스에 교재의 기법을 응용한 가상 예다. 두 설명을 받은 사람들의 원래 필요가 다르면 선택 비율의 차이를 문구 효과라고 단정할 수 없다. 바뀐 설명과 실제 제공 내용을 일치시킨다.
기법은 가설에 맞춰 고른다
한 시험에서 모든 질문에 답하려 하지 않는다.
| 알고 싶은 것 | 적합한 출발점 | 추가로 필요한 시험 |
|---|
| 사용 순간과 형태 | 피노키오 | 실제 기능의 사용성 |
| 제안의 초기 관심 | 가짜 문·유튜브 | 실제 제공과 결제 |
| 제공 결과의 수요 | 미캐니컬 터크·외관 | 자동화 성능·운영 비용 |
| 짧은 기간의 실제 운영 | 하룻밤 | 다른 기간·반복 이용 |
| 기존 환경·표시의 반응 | 잠입자·상표 바꾸기 | 다른 채널·인과 비교 |
개념 해설
한국어 교재의 여덟 이름을 비교한 표다. 저자는 변형과 조합을 허용한다. 외관을 갖추고 짧게 운영하며 수작업으로 처리하는 시험은 여러 기법에 동시에 해당할 수 있다.
질문 2 · 이 결과로 무엇을 말할 수 있는가?
담당자가 만든 행동 목록을 다섯 고객이 5,000원에 결제해 받았다.
현재 자료가 가장 직접적으로 뒷받침하는 주장은 무엇인가?
- AI의 요약 정확도가 충분하다.
- 해당 고객들은 이 가격과 수작업 제공 조건에서 구매했다.
- 자동화하면 같은 품질로 반드시 이익이 난다.
- 전체 학생 시장의 절반이 이용할 것이다.
개념 해설
실제로 관찰한 행동과 아직 가정에 머무는 내용을 구분하면 다음 시험을 고르기 쉬워진다. 다섯 고객이 어떻게 모집됐는지와 재이용 여부도 함께 기록한다.
증거는 행동과 부담을 함께 읽는다
고객이 시간·노력·돈을 얼마나 쓰는지 보되, 서로 다른 행동을 한 점수로만 요약하지 않는다.
| 관찰 | 단위 | 관련된 질문 |
|---|
| 체험 신청 | 신청자 수·신청률 | 연락을 받을 만큼 관심이 있는가? |
| 시연 참여 | 참여자 수·투입 시간 | 실제로 시간을 내는가? |
| 결제 | 결제자 수·금액 | 이 조건에 돈을 내는가? |
| 재이용 | 추적 기간·재이용자 수 | 다음에도 가치를 느끼는가? |
개념 해설
교재는 이를 적극적 투자라고 부른다. 이메일 1점·전화번호 10점 같은 값은 저자가 조정하도록 제시한 실무 점수다. 수업에서는 원래 관측값과 단위를 유지해 읽는다. 전화번호가 결제보다 강한 증거인지 등은 가설과 시장에 따라 달라진다.
분모를 먼저 정하기
100명을 초대했고 80명이 제안을 봤으며 20명이 결제했다.
두 비율은 서로 다른 질문에 답한다.
결과를 본 뒤 유리한 분모로 바꾸지 않는다.
| 질문 | 계산 | 결과 |
|---|
| 초대가 결제로 이어진 비율 | 20 ÷ 100 | 20% |
| 제안을 본 뒤 결제한 비율 | 20 ÷ 80 | 25% |
개념 해설
모든 인원은 가상 값이다. 초대를 보내는 전략과 제안을 본 고객의 반응은 구분해야 한다. 보지 않은 20명이 대상 조건을 충족하지 않았는지, 전달에 실패했는지 등을 미리 정한 규칙에 따라 기록한다.
결제 뒤에도 비용을 계산하기
가격 5,000원, 건당 변동비 1,000원, 고정비 80,000원으로 가정한다.
100명에게 제안한다면 목표에 필요한 결제율은 30%다.
18명이 결제하면 이익은 18 × 4,000 − 80,000 = −8,000원이다.
이번 시험은 경제성 기준에 미달했다.
목표 이익 40,000원을 위한 결제 인원
(80,000 + 40,000) ÷ (5,000 − 1,000) = 30명
개념 해설
금액과 인원은 가상 값이며 계산에서는 광고비를 고정비에 포함한 것으로 가정한다. 변동비에는 실제 제공과 수정 비용이 들어가야 한다. 경제성 기준 미달이라는 판단과 목표 시장 비율에 대한 통계적 판단은 서로 구분한다.
가까운 고객이 전체 시장을 대표할까?
친구·동아리·관심자만 모은 시험은 그 사람들의 반응을 보여준다.
친분 때문에 도와주려는 사람이 참여할 수 있다.
신청자만 관찰하면 무관심한 고객이 자료에서 빠진다.
관측 인원이 많아져도 모집 경로의 편향은 남을 수 있다.
다음 시험에서 다른 경로·고객군·날짜를 비교한다.
개념 해설
편의 표본은 빠른 탐색에 쓸 수 있지만 전체 시장 추정에는 추가 가정이 필요하다. 가까운 곳에서 시험하라는 교재 전략은 접근 비용을 낮추는 방법이다. 가까움과 대표성은 서로 다른 기준이다.
관측 비율에는 오차가 있다
적은 인원에서 얻은 비율은 같은 조건으로 다시 시험해도 달라질 수 있다.
관측 비율: 행동한 사람 수 k ÷ 관측 대상 수 n
구간 추정: 가정한 표본 모형에서 비율의 불확실성을 나타낸다.
모집 편향·측정 오류·조건 변화는 구간 폭으로 해결되지 않는다.
개념 해설
이후 예제는 독립적인 관측이며 각 고객의 행동 확률이 같다는 단순 이항 모형을 가정한다. 실제 참여 경로가 이런 모형에 맞는지는 별도 문제다. 소수·드문 사건에는 단순한 정규 근사 구간이 부정확할 수 있어 Wilson 구간이나 정확 방법 등을 검토한다.
비율이 같아도 관측 인원이 다르다
8/30과 80/300은 모두 26.67%지만 불확실성은 다르다.
목표가 20%라면 첫 구간은 20% 아래 값도 포함한다.
둘째 구간은 이 표본 모형에서 20%보다 위에 있다.
인원이 늘어도 선택 편향이 사라진 것은 아니다.
| 관측 | 비율 | Wilson 양측 95% 구간 |
|---|
| 8/30 | 26.67% | 14.18–44.45% |
| 80/300 | 26.67% | 21.98–31.94% |
개념 해설
연속성 보정 없는 Wilson 구간이며 z=1.95996398454를 사용했다. 95%는 고정된 참 비율이 이번 구간 안에 있을 확률이라는 진술이 아니다. 같은 방식으로 표집하고 구간을 계산하는 일을 반복할 때의 장기 포함률을 뜻한다. 이는 별도 설계한 단측 검정의 결과와도 구분한다.
비율 차이와 원인 효과를 구분하기
다른 동아리의 선택 비율이 다르다고 설명 문구의 효과라고 단정할 수 없다.
가능하면 같은 모집 집단에서 제안을 무작위로 나눈다.
가격·내용·시점·측정 기간을 같게 두고 결과와 불확실성을 비교한다.
| 가상 시험 | 관측 | 해석 |
|---|
| A동아리에 “회의록 정리” 제안 | 40/200 = 20% | 동아리 차이와 문구 차이가 섞임 |
| B동아리에 “행동 목록” 제안 | 60/200 = 30% | 관측 차이 10%p가 곧 문구의 원인 효과는 아님 |
개념 해설
무작위 배정은 평균적으로 원래 집단 차이가 어느 조건에 몰리는 일을 줄인다. 유한 표본에서는 우연 차이가 남고, 중도 이탈이나 서로의 제안을 공유하는 일도 살펴야 한다. 무작위 배정은 다른 시장으로의 대표성까지 보장하지 않는다.
첫 사용과 계속 사용을 나누어 보기
새로움 때문에 한 번 참여한 고객이 다음에도 다시 찾는지 살핀다.
처음 결제한 고객 20명을 2주 동안 추적한다고 가정한다.
같은 이용 기회와 가격이 있었는지 먼저 확인한다.
재결제자 수·미이용 이유·이용 기회가 없던 인원을 함께 기록한다.
다른 날과 모집 경로에서도 결과가 이어지는지 살핀다.
개념 해설
교재의 Fold4U는 새로움이 줄어든 뒤의 이용을 추가로 살피는 가상 결말을 제시한다. 계속 이용해야 가치가 생기는 서비스라면 최초 신청만으로 충분하지 않다. 추적할 수 없던 사람을 임의로 성공이나 실패에 넣지 않는다.
질문 3 · 될놈척도의 숫자를 어떻게 읽을까?
교재의 될놈척도는 여러 시험 결과를 비교하는 시각적 도구다.
화살표가 “매우 높음, 약 90%”에 놓였다. 수업에서 가장 정확한 해석은 무엇인가?
- 이 사업이 성공할 확률을 통계로 계산해 90%를 얻었다.
- 저자의 판단 분류이며 실제 성공 확률로 쓰려면 별도의 확률 모형과 검증이 필요하다.
- 목표 고객의 정확히 90%가 결제했다.
- 실험을 세 번 하면 성공 확률은 항상 90%다.
개념 해설
수업에서는 가설·사전 기준·관측 수치·표본·조건을 나란히 기록해 판단 근거를 남길 수 있다. 교재의 세 번에서 다섯 번이라는 반복 권고도 경험칙이며 통계적으로 충분한 횟수를 보장하지 않는다.
다음 투자를 결정하기
현재 자료가 답한 질문과 남은 위험에 맞춰 다음 지출을 정한다.
| 결과 | 가능한 결정 | 추가 기록 |
|---|
| 행동과 경제성 기준을 충족 | 소규모 실제 제공을 늘림 | 다른 고객·날짜의 재현, 품질·비용 |
| 관심은 있지만 결제가 적음 | 제안·가격·고객 가설을 다시 시험 | 어디에서 막혔는지, 바꾼 가정 |
| 반복해서 현재 조건에 미달 | 현재 안을 중단하거나 다른 문제를 탐색 | 관찰한 한계, 남은 자원 |
| 전달·결제 오류로 해석 곤란 | 원인을 고치고 새 자료로 재시험 | 오류 기록, 제외 전후 결과 |
개념 해설
큰 투자일수록 수요·성능·비용을 더 엄격하게 확인할 필요가 있다. 결과를 보고 바꾼 가설은 새 시험의 출발점이다. 동일한 자료를 여러 번 읽어 성공이라고 부르는 대신 새 조건과 새 고객에서 관찰한다.
질문 4 · 우리 팀의 다음 시험은?
팀의 XYZ 가설 하나를 골라 개발 전에 알아볼 행동을 정한다.
선택한 방법으로 무엇을 관찰할 수 있으며, 어떤 질문은 남는가?
- 틀리면 계획이 크게 바뀔 가정 하나를 적는다.
- 여덟 기법 중 하나 또는 조합을 고르고 선택 이유를 쓴다.
- 대상·가격·행동·분모·기한·예상 비용을 적는다.
- 결과가 높음·낮음·해석 곤란일 때의 다음 행동을 정한다.
개념 해설
자료를 수집하기 전에 모둠의 설명과 실제 제공 범위를 일치시킨다. 실행 계획에는 중복 신청, 미완료 결제, 전달 실패를 어떻게 기록할지도 포함한다. 같은 가설에 더 싸고 빠른 방법이 있는지 한 번 더 비교한다.
0건도 불확실성을 남긴다
20명 중 결제자가 없었다고 시장의 참 결제율이 정확히 0%인 것은 아니다.
관측 비율은 0%다.
같은 독립 이항 모형에서 상한은 약 13.91%다.
최소 20%라는 주장에 의문을 제기할 근거가 되지만 모집·전달·결제 오류도 확인한다.
0/20의 단측 95% 정확 상한
1 − 0.05^(1/20) = 13.91%
개념 해설
모든 고객의 확률이 같고 관측이 독립이라는 가정 아래 계산한 이항분포의 단측 상한이다. 관측 인원 20명과 실제 시장을 구분한다. 결제 기능이 작동하지 않았다면 이 계산은 의도한 수요 실험의 결론을 대신할 수 없다.
탐색한 패턴은 새 자료로 확인하기
결과를 본 뒤 발견한 가설을 처음부터 예측한 가설처럼 보고하지 않는다.
탐색
시험 뒤 4학년의 신청이 많다는 패턴을 발견한다.
새 가설
4학년의 조건과 관찰할 행동을 구체적으로 적는다.
확인
새로 모집한 대상에게 미리 정한 제안을 보여주고 결과를 본다.
개념 해설
처음 시험의 탐색 결과는 다음 질문을 만드는 데 유용하다. 같은 자료에서 고른 고객군에 다시 같은 자료를 적용하면 우연 패턴을 확실한 발견처럼 보이게 할 수 있다. 탐색과 확인을 구분하고 계획 변경과 제외 이유를 함께 남긴다.
두 조건부 확률은 다르다
가설이 맞을 때 이 자료가 나올 가능성과 자료를 본 뒤 가설이 맞을 가능성은 서로 다르다.
사업 성공 확률을 계산하려면 성공의 정의와 확률 모형이 필요하다.
다른 가설에서 같은 자료가 나올 가능성도 비교해야 한다.
교재의 단계별 화살표에는 이런 계산과 실측 교정 과정이 제시되지 않는다.
조건의 방향을 바꾸면 다른 질문이 된다
P(자료 | 가설)와 P(가설 | 자료)
개념 해설
교재는 246–247쪽에서 “가설이 참이라면 이 자료가 나올 확률”을 묻고, 그 결과를 성공 가능성 표시로 연결한다. 수업에서는 이를 저자의 판단 지침으로 읽는다. 베이즈 추론으로 가설 확률을 구하려면 사전확률과 자료 생성 모형 등을 추가로 정해야 한다. 두 확률이 우연히 같은 값일 수는 있지만 값을 그대로 옮기는 규칙은 없다.
점수 대신 판단 근거를 남기기
사전 기준·관측값·불확실성·한계를 분리하면 다른 팀도 판단을 검토할 수 있다.
| 기록 항목 | 가상 기록 |
|---|
| 사전 기준 | 최소 결제율 20% |
| 관측 자료 | 8/30명 = 26.67% |
| 표본 모형의 불확실성 | Wilson 95% 14.18–44.45% |
| 조건과 한계 | 한 동아리의 자원자, 수작업 제공 |
| 결정 | 다른 모집 경로에서 재시험·품질 비용 기록 |
개념 해설
정해 둔 실무 기준을 충족한 사실, 비율 추정이 넓은 사실, 한 동아리의 참여자를 관찰한 사실은 동시에 성립한다. 이를 하나의 성공 확률 숫자로 합치지 않고 판단 근거를 남긴다. 이 분석표는 수업에서 구성한 기록 양식이며 원저자의 별도 통계 공식이 아니다.
가설을 세우는 방식에도 연구가 있다
과학적 의사결정 교육은 아이디어를 검토하고 중단·수정하는 행동에 영향을 줄 수 있다.
Camuffo 등(2020)은 초기 창업기업 116개를 대상으로 교육 방식을 비교했다.
2024년 연구는 네 실험의 창업기업 759개를 분석해 중단과 방향 전환 등을 비교했다.
이 결과는 여덟 프리토타입 기법 각각의 효과를 검증한 연구가 아니다.
가설 시험의 목적은 큰 투자 전에 더 나은 판단 근거를 얻는 데 있다.
개념 해설
연구의 과학적 접근은 사업에 관한 이론을 만들고 예측과 시험을 연결하는 교육이다. 2024년 분석은 최초 실험을 포함하므로 759개 기업 전부를 새로운 표본이라고 쓰지 않는다. 결과는 교육과 연구 조건에 해당하며 프리토타이핑이 모든 시장에서 성공을 보장한다는 근거는 아니다.