AI 맞춤법 실측 — 문항 60개와 실행 스크립트

AI 맞춤법, 60문항 돌려본 결과에서 쓴 문항 전체와 실행 스크립트입니다. 본문에는 지면상 일부만 실었기 때문에 여기에 전부 공개합니다. 그대로 복사해 같은 실험을 다시 돌리실 수 있습니다.

채점 방식은 단순합니다. 문항마다 오류 표현과 정답 표현을 미리 붙여 두고, 모델 출력에서 오류가 사라지고 정답이 들어갔는지만 봅니다. 사람이 눈으로 판정하지 않습니다.

1차 — 흔한 오류 30문항 + 정상 문장 10문항

31~40번은 고칠 것이 없는 문장입니다. 모델이 멀쩡한 문장을 건드리는지(오검출) 보려고 섞었습니다.

2차 — 어려운 15문항 + 오류 3개씩 심은 문단 5개

1차가 천장에 닿아 문맥으로만 갈리는 것들로 다시 만들었습니다. 201~205번은 한 문단에 오류를 세 개씩 넣었습니다.

실행 스크립트

위 문항을 testset.json으로 저장한 뒤 python run.py <OPENAI_API_KEY>로 돌립니다. 결과와 채점이 results.json에 저장됩니다.

"""한국어 맞춤법 교정 정확도 실측.

40문항(오류 30 + 정상 10) × 모델 3종 × 프롬프트 2종 = 240회 호출.
정상 문장 10개를 섞은 이유: 재현율보다 **오검출**이 실무에서 더 아프기 때문이다.
멀쩡한 문장을 건드리면 결국 전부 다시 읽어야 한다.
"""
import json, re, sys, time, urllib.request, urllib.error
from concurrent.futures import ThreadPoolExecutor
from pathlib import Path

BASE = Path(__file__).parent
KEY = sys.argv[1]
MODELS = ["gpt-5.6-luna", "gpt-5.6-terra", "gpt-5.6-sol"]
PROMPTS = {
    "느슨": "다음 문장의 맞춤법을 고쳐 주세요. 고친 문장만 출력하세요.\n\n{s}",
    "엄격": ("다음 문장에서 한국어 맞춤법과 띄어쓰기 오류만 고치세요.\n"
             "오류가 없으면 원문을 그대로 출력하세요.\n"
             "문체·어투·낱말 선택은 절대 바꾸지 마세요.\n"
             "설명 없이 결과 문장 한 줄만 출력하세요.\n\n{s}"),
}

def norm(s):
    s = re.sub(r"\s+", " ", (s or "").strip())
    return s.strip('"\'「」“”‘’ ')

def call(model, prompt):
    body = json.dumps({"model": model,
                       "messages": [{"role": "user", "content": prompt}],
                       "max_completion_tokens": 2000}).encode()
    req = urllib.request.Request("https://api.openai.com/v1/chat/completions", data=body,
        headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
    for attempt in range(3):
        try:
            r = json.loads(urllib.request.urlopen(req, timeout=180).read())
            return r["choices"][0]["message"]["content"], r["usage"]
        except urllib.error.HTTPError as e:
            if attempt == 2:
                return f"__ERR__ {e.code} {e.read().decode()[:120]}", None
            time.sleep(3 * (attempt + 1))
        except Exception as e:
            if attempt == 2:
                return f"__ERR__ {e}", None
            time.sleep(3 * (attempt + 1))

items = json.loads((BASE / "testset.json").read_text(encoding="utf-8"))
jobs = [(m, pk, it) for m in MODELS for pk in PROMPTS for it in items]
print(f"호출 {len(jobs)}건 시작", flush=True)

def work(job):
    model, pk, it = job
    out, usage = call(model, PROMPTS[pk].format(s=it["wrong"]))
    o = norm(out)
    rec = {"model": model, "prompt": pk, **{k: it[k] for k in ("id", "cat", "wrong", "right", "err", "fix")},
           "out": o, "err_api": o.startswith("__ERR__")}
    if it["cat"] == "정상":
        rec["untouched"] = (o == norm(it["wrong"]))
    else:
        rec["missed"] = it["err"] in o
        rec["fixed"] = (it["fix"] in o) and (it["err"] not in o)
        rec["wrong_fix"] = not rec["fixed"] and not rec["missed"]
        rec["exact"] = (o == norm(it["right"]))
    return rec

with ThreadPoolExecutor(8) as ex:
    res = list(ex.map(work, jobs))

(BASE / "results.json").write_text(json.dumps(res, ensure_ascii=False, indent=1), encoding="utf-8")
errs = [r for r in res if r["err_api"]]
print(f"완료. API 실패 {len(errs)}건")
for e in errs[:3]:
    print("  ", e["model"], e["out"][:110])

알려진 한계

• 26번(울었든지)의 정답 키가 좁았습니다. 모델이 고른 울었는지도 성립하는 문장이라 실패로 세면 안 됩니다.
• OpenAI 계열만 측정했습니다. 클로드·제미나이, 전용 맞춤법 검사기와의 비교는 없습니다.
• 60문항은 표본이 작고 문항 선택에 제 편향이 있습니다.

문항에 오류가 있거나 정답 키가 틀렸다면 문의하기로 알려 주세요. 수정 정책에 따라 고치고 그 사실을 남깁니다.