문제 100개를 버렸습니다 — 두뇌 퍼즐이 재미없어지는 순간

어제 아침, 유튜브에 올리려고 만든 짧은 영상을 다시 보다가 손이 멈췄습니다. 문제는 이랬습니다.

오이 → 52
이사 → 24
사이 → 42

구이 → ?

오는 5, 이는 2. 숫자를 우리말로 읽은 소리를 글자에 숨겨 놓은 문제였습니다. 답은 92입니다.

규칙은 정확했고, 다른 규칙으로는 답이 안 나오도록 프로그램으로 검증까지 마친 문제였습니다. 그런데 다시 보니 재미가 없었습니다. 보자마자 보이고, 알아채도 "그래서 뭐"였습니다. 발견형 퍼즐이라면서 발견할 것이 없었던 겁니다.

검증은 통과했는데 재미가 없다는 것

문제를 만들 때 저는 두 가지를 검사하고 있었습니다. 첫째, 규칙이 모든 예시에 맞는가. 둘째, 다른 규칙으로도 같은 답이 나오지는 않는가(그러면 답이 갈립니다). 이 두 가지는 코드로 자동 검사할 수 있어서 꽤 엄격하게 지켜 왔습니다.

그런데 이 둘을 다 통과해도 재미없는 문제가 만들어질 수 있다는 걸 그때 알았습니다. 정확한 것과 재미있는 것은 다른 축이었던 거죠.

그래서 세운 세 가지 기준

기존 검증에 세 가지를 새로 얹었습니다.

• 3초 룰 — 한국어를 쓰는 사람에게 3초 안에 규칙이 보이면 탈락입니다. 글자 수 세기, 발음 그대로 바꾸기, 달마다 며칠인지 같은 지식 조회가 여기서 대부분 걸립니다.
• 발견의 간격 — 첫 번째 가설이 한 번은 죽어야 합니다. 죽지 않으면 그건 발견이 아니라 확인입니다.
• 아하 — 규칙을 알아챈 순간 "오!"가 있어야 합니다. 알아채고도 "그래서 뭐"라면, 맞혀도 즐겁지 않습니다.

여기에 예외를 하나 뒀습니다. 쉬워도 반전이 있으면 통과. 예를 들어 105를 한글로 읽으면 "백오", 두 글자입니다. 21(이십일)보다 짧죠. 크기와 길이가 뒤집히는 그 순간이 있으면 쉬운 문제도 살아남습니다.

324문제를 전부 다시 읽었습니다

기준을 세웠으니 적용해야 했습니다. 발견형 324문제를 처음부터 끝까지 다시 읽었고, 결과는 예상보다 나빴습니다.

52문제가 기준 미달이었습니다. 은행의 16%입니다. 단순 글자 수 세기, 상식 조회, 읽는 순간 반사적으로 답이 나오는 것들. 게다가 그중 몇 개는 서로 중복이기까지 했습니다. 같은 규칙의 문제가 이름만 다른 채 둘씩 들어 있었던 거죠.

52개를 전부 새 문제로 갈아 끼웠습니다. 그리고 다시 전수 대조를 했더니 — 새로 만든 52개 중 19개가 이미 은행에 있던 문제와 겹쳤습니다.

가장 뼈아팠던 발견

이게 이번 정리에서 가장 배운 점입니다. "좋은 퍼즐 아이디어"의 풀은 생각보다 훨씬 좁습니다. 양말 서랍, 연못의 수련, 달팽이가 우물을 오르는 문제 — 머릿속에서 자연스럽게 떠오르는 아이디어는 대개 이미 만들어 넣은 것입니다.

더 나빴던 건 기존 은행 안에서도 쌍둥이가 발견됐다는 사실입니다. 케이크를 세 번 잘라 최대 몇 조각이 되느냐는 문제가 두 개 들어 있었는데, 한쪽은 답이 7이고 다른 쪽은 8이었습니다(평면으로만 자르면 7, 옆으로도 자르면 8이라 둘 다 맞습니다만, 같은 사이트에서 같은 질문에 다른 답이 나가고 있었던 겁니다).

결국 하루에 100개를 갈아엎었습니다. 은행의 3분의 1에 가깝습니다.

다음부터는 기억이 아니라 기계가 잡습니다

이런 사고가 처음이 아니라는 게 문제였습니다. 그때마다 문서에 "다음부터는 조심하자"고 적었고, 그때마다 다시 일어났습니다. 사람의 규율에 기대는 방식으로는 안 된다는 뜻이었습니다.

그래서 문서 대신 코드에 심었습니다. 문제를 추가할 때 자동으로 도는 검사들입니다.

• 정답을 그대로 입력했을 때 오답 처리되는 문제가 있는지 — 실제로 몇 개 있었습니다. 힌트에서 "콜론을 찍어 보라"고 안내해 놓고 콜론이 들어간 답을 거절하던 문제 같은 것들이요.
• 같은 날짜에 나가는 문제 구성이 배포 때문에 바뀌지는 않는지
• 분류 태그에 오타가 나서 조용히 엉뚱한 분야로 새는 문제가 없는지

그리고 앞으로는 문제 하나하나에 실제 정답률을 붙여 볼 생각입니다. 제 감으로 "이건 쉽다/어렵다"를 판정하는 대신, 힌트 없이 맞힌 비율이 지나치게 높거나 낮은 문제를 데이터가 짚어 주도록요.

내일부터 나가는 문제들

새로 들어간 문제들은 이런 것들입니다. 낙타 열일곱 마리를 삼형제에게 절반·삼분의 일·구분의 일로 나눠 주라는 유언, 참외가 왜 "참 + 오이"인지, 정사각형 종이 두 장을 겹쳤을 때 절대 나올 수 없는 모양, 한 번 꼬아 붙인 종이 고리를 가운데로 자르면 벌어지는 일.

전부 3초 룰을 통과했고, 첫 가설이 한 번은 죽도록 예시를 배치했습니다. 그래도 재미없는 게 섞여 있을 겁니다. 발견하시면 언제든 알려주세요 — 이번에도 그렇게 시작됐습니다.