문제가 답을 흘리는 자리 — 공개 전날 풀어 보고 고친 것들

문제를 만들 때 가장 공들이는 곳은 문장과 정답이에요. 그래서 오랫동안 저희의 검수도 거기에 몰려 있었어요. 지문이 두 가지로 읽히지 않는지, 정답이 맞는지, 다른 규칙으로도 풀리지 않는지를 봤어요. 그런데 푸는 사람은 문장만 읽지 않아요. 화면에 보이는 모든 것을 단서로 삼아요. 그림의 색도, 칸의 크기도, 문제 위에 붙은 작은 글자도 전부요.

딸깍은 10월 22일부터 다음 날 나갈 10문제를 공개 전에 처음부터 끝까지 풀어 봐요. 정답을 보지 않고 화면만 보고 푸는 거예요. 이 일을 시작하자 그동안 검수를 다 지나간 문제에서 이상한 자리가 나오기 시작했어요. 규칙을 찾지 않아도 답이 보이는 자리예요. 문제 자체는 틀리지 않았는데, 문제 바깥이 답을 흘리고 있었어요.

이 글은 그렇게 찾아 고친 다섯 자리의 기록이에요. 이미 공개된 문제들이라 정답과 진짜 규칙은 적지 않을게요. 무엇이 새고 있었고 어떻게 막았는지만 적을게요.

첫째 자리, 그림의 색깔

버스 그림을 보여 주고 왼쪽과 오른쪽 중 어느 쪽으로 가는지 묻는 문제가 있어요. 이 문제의 재미는 그림에 없는 것을 알아차리는 데 있어요. 그런데 그림의 앞등과 뒷등이 서로 다른 색이었어요. 앞등은 노랑, 뒷등은 빨강이었어요.

자동차를 조금만 아는 사람이라면 생각을 시작하기도 전에 앞뒤를 알아요. 그러면 문제가 끝나요. 그림의 작은 세부가 정답을 먼저 말해 버린 거예요. 두 등을 같은 색으로 바꾸고, 답이 둘 중 하나인 문제라 글자 입력 대신 보기 둘로 줄였어요.

이 일로 배운 것이 있어요. 문제 그림에서는 사실적인 것이 언제나 좋은 게 아니에요. 그림의 모든 세부는 단서이고, 단서가 아닌 세부는 없애거나 양쪽을 똑같이 만들어야 해요.

둘째 자리, 물음표를 감싼 상자

쌓은 블록의 정면 그림자 높이를 묻는 그림 문제예요. 답이 들어갈 자리를 점선 상자에 물음표로 표시해 두었어요. 아주 흔한 표시라 아무도 의심하지 않았는데, 그 상자의 높이가 정답과 똑같았어요. 규칙을 몰라도 상자가 몇 칸인지만 세면 답이었어요.

답이 들어갈 자리를 답만큼 그리는 것은 얼핏 당연해 보여요. 틀린 데가 없어 보여서 더 찾기 어려워요. 상자를 어느 답보다도 높게 바꿔서, 크기가 아무것도 말하지 않게 했어요.

시험지의 빈칸 길이도 같은 문제예요. 두 글자 답의 칸이 네 글자 답의 칸보다 짧으면 칸이 힌트가 돼요. 빈칸의 크기는 어떤 답이 와도 같아야 해요.

셋째 자리, 문제 위의 이름표

발견형 문제에는 위쪽에 작은 이름표가 붙어요. 문제를 은행에서 분류할 때 쓰던 이름이 그대로 화면에 나가고 있었는데, 그중에 「삐딱한 선」 · 「끝점」 같은 것이 있었어요. 어디를 봐야 하는지 찾는 것이 문제의 전부인데, 그걸 문제 위에 적어 둔 셈이에요.

이 이름들은 만드는 사람에게는 편했어요. 어떤 문제인지 한눈에 알 수 있으니까요. 바로 그 점이 문제였어요. 만드는 사람에게 편한 이름은 규칙을 요약한 말이고, 규칙을 요약한 말은 곧 정답의 절반이에요. 푸는 화면에서는 「도형」 · 「수」 같은 분야 이름만 보이게 바꿨어요.

이건 문제 하나가 아니라 화면 전체의 구멍이었어요. 문제를 아무리 잘 만들어도 그 위 한 줄이 무너뜨리고 있었던 거예요. 문제 파일만 검수해서는 찾을 수 없었고, 실제 화면을 보고 풀어야 보였어요.

넷째 자리, 물음표가 놓인 위치

이번에는 답을 흘린 경우가 아니라 반대 경우예요. 물이 어디에 도착하는지 묻는 물길 그림에서, 물음표가 한 물길의 아래 끝 바로 옆에 붙어 있었어요. 그러자 「?」가 넷째 출구처럼 보였어요. 있지도 않은 출구가 생긴 거예요.

답을 흘리는 것과 뿌리는 같아요. 푸는 사람은 그림에서 가까이 붙은 것을 하나로 묶어 읽어요. 물음표는 어디에 놓아도 상관없는 표시가 아니라, 놓이는 순간 그림의 일부가 돼요. 물음표를 물길이 없는 빈자리로 옮겼어요.

같은 날 물감 자국 문제에서도 비슷한 것을 찾았어요. 두 자국이 거의 맞닿아 있어서 하나로 읽히면 답이 달라지는 문제였어요. 자국끼리 띄워서 고쳤어요. 붙어 있으면 하나로, 떨어져 있으면 따로 읽혀요. 그림 문제에서는 간격도 문장이에요.

다섯째 자리, 예시가 놓아 준 다른 규칙

마지막은 그림이 아니라 예시 줄이에요. 대칭수를 쓰는 문제를 미리 풀다가, 저희가 정한 규칙이 아닌 다른 규칙이 떠올랐어요. 「세 자리면 더한다」였어요. 대 보니 예시를 전부 통과했고, 그 규칙으로 풀면 다른 답이 나왔어요. 답이 둘일 수 있는 문제였던 거예요.

딸깍에는 짧은 규칙 후보들을 기계로 대입해 답이 갈리는지 공격하는 검사가 있어요. 이 검사는 쓸모가 크지만, 그 보고서 첫머리에 적어 둔 대로 「통과」는 유일하다는 증명이 아니에요. 준비해 둔 후보 안에서 못 깼다는 뜻일 뿐이에요. 푸는 사람의 머릿속에는 목록에 없는 규칙이 얼마든지 떠올라요.

그 규칙으로는 틀리는 예시 한 줄을 더해 다른 규칙을 막았어요. 답은 바뀌지 않았어요. 이런 일에서는 언제나 예시를 늘리는 것이 가장 쉬운 처방이지만, 함부로 늘리면 규칙이 너무 쉽게 보여요. 그래서 다른 규칙을 정확히 하나 걸러 내는 줄을 골라서 넣어요.

왜 공개 전날 풀어야 찾을 수 있었나

다섯 자리 모두 이전 검수를 지나간 문제였어요. 검수가 허술했다기보다 눈의 위치가 달랐어요. 검수하는 사람은 정답과 규칙을 알고 봐요. 규칙을 아는 눈에는 앞등의 색도, 상자의 높이도 그냥 배경이에요. 그 단서를 쓸 일이 없으니까요. 모르는 사람처럼 화면만 보고 풀어야 비로소 「어, 이거 그냥 보이는데?」가 나와요.

공개 전날이라는 시점도 중요해요. 이미 풀고 있는 사람이 있는 문제는 낮에 고칠 수 없어요. 아침에 푼 문제와 오후에 푼 문제가 달라지면 안 되니까요. 하루 앞서 풀면 아직 아무도 받지 않은 문제라 마음 놓고 고칠 수 있어요. 이렇게 고친 것은 사이트의 다듬은 기록에 한 줄씩 남겨 두고 있어요.

답이 새지 않게 지키는 것

• 그림의 세부는 전부 단서로 봐요. 꾸미려고 넣은 색이나 모양도 푸는 사람에게는 단서예요. 단서가 아니라면 양쪽을 똑같이 만들어요.
• 빈칸은 답을 닮으면 안 돼요. 크기와 길이가 어떤 답이 와도 같아야 해요.
• 분류 이름을 화면에 내보내지 않아요. 만드는 사람에게 편한 이름은 대개 규칙의 요약이에요.
• 표시도 그림의 일부예요. 물음표와 자국은 놓이는 자리와 간격까지 읽혀요.
• 규칙을 모르는 눈으로 한 번 더 풀어요. 기계 검사를 통과해도, 마지막에는 처음 보는 사람처럼 화면만 보고 풀어요.

좋은 문제는 풀고 나서 「내가 찾았다」는 기분이 남아요. 그 기분은 답이 샌 문제에서는 생기지 않아요. 맞혔는데도 뭔가 시시하다면 대개 답이 어딘가로 새고 있었던 거예요. 그 구멍을 공개 전에 하나씩 막는 것이 요즘 저희가 매일 하는 일이에요.