문제 100개를 버렸습니다 — 두뇌 퍼즐이 재미없어지는 순간

어제 아침, 유튜브에 올리려고 만든 짧은 영상을 다시 보다가 손이 멈췄어요. 문제는 이랬어요.

오이 → 52
이사 → 24
사이 → 42

구이 → ?

오는 5, 이는 2. 숫자를 우리말로 읽은 소리를 글자에 숨겨 놓은 문제였어요. 답은 92예요.

규칙은 정확했고, 다른 규칙으로는 답이 안 나오도록 프로그램으로 검증까지 마친 문제였어요. 그런데 다시 보니 재미가 없었어요. 보자마자 보이고, 알아채도 "그래서 뭐"였어요. 발견형 퍼즐이라면서 정작 발견할 게 없었어요.

검증은 통과했는데 재미없는 문제

문제를 만들 때 저는 두 가지를 검사하고 있었어요. 첫째, 규칙이 모든 예시에 맞는가. 둘째, 다른 규칙으로도 같은 답이 나오지는 않는가(그러면 답이 갈려요). 이 두 가지는 코드로 자동 검사할 수 있어서 꽤 엄격하게 지켜 왔어요.

그런데 이 둘을 다 통과해도 재미없는 문제가 만들어질 수 있다는 걸 그때 알았어요. 정확한 것과 재미있는 것은 서로 다른 축이었어요.

그래서 세운 세 가지 기준

기존 검증에 세 가지를 새로 얹었어요.

• 3초 룰: 한국어를 쓰는 사람에게 3초 안에 규칙이 보이면 탈락이에요. 글자 수 세기, 발음 그대로 바꾸기, 달마다 며칠인지 같은 지식 조회가 여기서 대부분 걸려요.
• 발견의 간격: 첫 번째 가설이 한 번은 죽어야 해요. 죽지 않으면 발견이라기보다 확인에 가까워요.
• 아하: 규칙을 알아챈 순간 "오!"가 있어야 해요. 알아채고도 "그래서 뭐"라면 맞혀도 즐겁지 않아요.

여기에 예외를 하나 뒀어요. 쉬워도 반전이 있으면 통과. 예를 들어 105를 한글로 읽으면 "백오", 두 글자예요. 21(이십일)보다 짧아요. 크기와 길이가 뒤집히는 그 순간이 있으면 쉬운 문제도 살아남아요.

324문제를 전부 다시 읽었어요

기준을 세웠으니 적용해야 했어요. 발견형 324문제를 처음부터 끝까지 다시 읽었는데, 결과는 예상보다 나빴어요.

52문제가 기준 미달이었어요. 은행의 16%예요. 단순 글자 수 세기, 상식 조회, 읽는 순간 반사적으로 답이 나오는 것들. 게다가 그중 몇 개는 서로 중복이기까지 했어요. 같은 규칙의 문제가 이름만 다른 채 둘씩 들어 있었어요.

52개를 전부 새 문제로 갈아 끼웠어요. 그리고 다시 전수 대조를 했더니 새로 만든 52개 중 19개가 이미 은행에 있던 문제와 겹쳤어요.

가장 뼈아팠던 발견

이번 정리에서 가장 크게 배운 점이에요. "좋은 퍼즐 아이디어"의 풀은 생각보다 훨씬 좁아요. 양말 서랍, 연못의 수련, 달팽이가 우물을 오르는 문제처럼 머릿속에서 자연스럽게 떠오르는 아이디어는 대개 이미 만들어 넣은 것이었어요.

더 나빴던 건 기존 은행 안에서도 쌍둥이가 나왔다는 사실이에요. 케이크를 세 번 잘라 최대 몇 조각이 되느냐는 문제가 두 개 들어 있었는데, 한쪽은 답이 7이고 다른 쪽은 8이었어요(평면으로만 자르면 7, 옆으로도 자르면 8이라 둘 다 맞긴 하지만, 같은 사이트에서 같은 질문에 다른 답이 나가고 있었어요).

결국 하루에 100개를 갈아엎었어요. 은행의 3분의 1에 가까운 양이에요.

다음부터는 기억 대신 기계가 잡아요

이런 사고가 처음이 아니라는 게 문제였어요. 그때마다 문서에 "다음부터는 조심하자"고 적었고, 그때마다 다시 일어났어요. 사람의 규율에 기대서는 안 된다는 뜻이었어요.

그래서 문서 대신 코드에 심었어요. 문제를 추가할 때 자동으로 도는 검사들이에요.

• 정답을 그대로 입력했을 때 오답 처리되는 문제가 있는지. 실제로 몇 개 있었어요. 힌트에서 "콜론을 찍어 보라"고 안내해 놓고 콜론이 들어간 답을 거절하던 문제 같은 것들이요.
• 같은 날짜에 나가는 문제 구성이 배포 때문에 바뀌지는 않는지
• 분류 태그에 오타가 나서 조용히 엉뚱한 분야로 새는 문제가 없는지

그리고 앞으로는 문제 하나하나에 실제 정답률을 붙여 볼 생각이에요. 제 감으로 "이건 쉽다/어렵다"를 판정하는 대신, 힌트 없이 맞힌 비율이 지나치게 높거나 낮은 문제를 데이터가 짚어 주도록요.

내일부터 나가는 문제들

새로 들어간 문제들은 이런 것들이에요. 낙타 열일곱 마리를 삼형제에게 절반·삼분의 일·구분의 일로 나눠 주라는 유언, 참외가 왜 "참 + 오이"인지, 정사각형 종이 두 장을 겹쳤을 때 절대 나올 수 없는 모양, 한 번 꼬아 붙인 종이 고리를 가운데로 자르면 벌어지는 일.

전부 3초 룰을 통과했고, 첫 가설이 한 번은 죽도록 예시를 배치했어요. 그래도 재미없는 게 섞여 있을 거예요. 발견하시면 언제든 알려 주세요. 이번 정리도 그렇게 시작됐어요.