AI 맞춤법, 60문항 돌려본 결과

한국어 맞춤법을 AI에 맡겨도 되는지 궁금해서 직접 재봤습니다. 오류를 심은 문항 50개와 멀쩡한 문장 10개를 만들어 모델 세 개에 프롬프트 두 가지로 돌렸습니다. 총 360회입니다. 결과는 두 가지 면에서 예상과 달랐습니다. 가장 싼 모델이 가장 비싼 모델만큼 했고, 지시를 꼼꼼하게 줄수록 성적이 떨어졌습니다.

원고를 AI에 맡겨 다듬는 사람, 교정 단계를 자동화에 넣으려는 사람에게 해당하는 이야기입니다.

AI 맞춤법을 어떻게 쟀나

문항을 두 벌 만들었습니다.

1차는 흔한 오류 30개와 정상 문장 10개입니다. 되/돼, 안/않, 왠지/웬지, 사이시옷, 의존명사 띄어쓰기처럼 검색하면 바로 나오는 것들입니다. 정상 문장 10개를 섞은 이유가 있습니다. 못 고치는 것보다 멀쩡한 문장을 건드리는 쪽이 실무에서 더 아픕니다. 손을 댄 자리가 있으면 결국 전부 다시 읽어야 하니까요.

2차는 어려운 15개와 오류를 세 개씩 심은 문단 5개입니다. 1차가 너무 쉬웠기 때문입니다. 2차에는 결재/결제, 지양/지향처럼 문맥을 알아야 고르는 것들을 넣었습니다.

모델은 GPT-5.6 Luna·Terra·Sol 세 등급을 썼고, 프롬프트는 두 가지입니다.

• 느슨: “다음 문장의 맞춤법을 고쳐 주세요. 고친 문장만 출력하세요.”
• 엄격: 위에 더해 “오류가 없으면 원문 그대로”, “문체·어투·낱말 선택은 절대 바꾸지 마세요”

채점은 자동으로 했습니다. 문항마다 오류 표현과 정답 표현을 미리 붙여 두고, 출력에서 오류가 사라지고 정답이 들어갔는지 봤습니다.

결과 — 두 번 재서 갈렸습니다

1차: 쉬운 문제는 거의 다 맞힙니다

느슨한 지시로는 사실상 만점입니다. 오검출도 거의 없어서 정상 문장 60번 중 59번을 그대로 뒀습니다.

천장에 닿았으니 이 표에서 얻을 건 없습니다. 눈에 띄는 건 엄격 쪽이 일관되게 낮다는 것뿐이었습니다.

2차: 여기서 갈립니다

두 가지가 한꺼번에 보입니다.

모델 등급은 거의 상관이 없습니다. 가장 싼 Luna가 14개, 25배 비싼 Sol이 14개입니다. 중간인 Terra가 15개로 제일 높았습니다. 맞춤법 교정에 상위 모델을 쓸 이유가 데이터에서 나오지 않았습니다.

프롬프트는 상관이 큽니다. 느슨 14~15에서 엄격 8~11로 떨어집니다. 거의 절반입니다.

엄격한 지시가 AI 맞춤법 교정을 망칩니다

놓친 문항을 늘어놓으니 공통점이 뚜렷했습니다. 고치려면 낱말을 갈아야 하는 유형만 골라서 빠집니다.

사물존칭이 특히 선명합니다. 느슨하게 시키면 세 모델 다 고치고, 엄격하게 시키면 세 모델 다 그냥 둡니다.

이유는 지시문 자체에 있습니다. “낱말 선택은 바꾸지 마라”고 하면 모델은 나오셨습니다 → 나왔습니다를 맞춤법 교정이 아니라 어투 수정으로 분류합니다. 한국어에서는 맞춤법 오류와 낱말·어투 문제의 경계가 흐린데, 그 경계를 지시문으로 그어 버린 셈입니다.

반대로 복합 문단에서는 엄격 프롬프트도 15개 중 14개를 잡았습니다. 그 문단들의 오류가 대부분 띄어쓰기와 표기라서 “낱말을 바꾸지 마라”에 걸리지 않았기 때문입니다.

무엇을 잘하고 무엇을 못하나

문항별 성공률(6회 시도 = 3모델 × 2프롬프트)을 늘어놓으면 선이 하나 보입니다.

거의 완벽한 것 — 규칙으로 결정되는 오류

절반 이하 — 뜻을 알아야 고르는 오류

늘리다와 늘이다가 최악이었습니다. 국립국어원 기준으로 길이를 길게 하는 것은 늘이다, 수나 양을 많게 하는 것은 늘리다인데, 바짓단은 길이라 늘였다가 맞습니다. 여섯 번 중 한 번만 맞혔습니다.

정리하면 이렇습니다. 철자와 활용은 사전이 답을 갖고 있어서 잘 고치고, 어느 낱말이 맞는지는 문장의 뜻을 판단해야 해서 자주 틀립니다. 그리고 뒤쪽이 바로 사람이 자주 헷갈리는 부분입니다.

실무에서 쓸 때

값은 거의 안 듭니다

문장 하나를 교정하는 데 입력 38토큰, 출력 12토큰이 들었습니다. 이걸로 환산하면 이렇습니다.

Luna로 문장 1,000개를 고치는 데 3센트가 안 됩니다. 한국어가 영어보다 토큰을 얼마나 더 먹는지는 따로 재봤습니다.

이번 실험 360회 전체를 가장 비싼 Sol 단가로 계산해도 20센트 수준이었습니다. 성적이 비슷하다면 굳이 위 등급을 쓸 이유가 없습니다.

문장이 지시로 읽히는 사고

정상 문장 60번 중 딱 한 번 어긋난 게 있었는데, 오검출이 아니라 다른 종류의 사고였습니다.

설명이 부족했다면 다시 알려 주세요.라는 문장을 넣었더니 Luna가 수정할 문장을 입력해 주세요.라고 답했습니다. 교정 대상 문장을 자기에게 하는 부탁으로 읽은 겁니다.

업무 문서에는 확인 부탁드립니다, 알려 주세요, 검토해 주십시오 같은 문장이 널려 있습니다. 문서를 통째로 넣어 교정을 맡길 때 이 경로로 문장 하나가 통째로 사라질 수 있습니다. 교정 결과의 문장 수가 원문과 같은지 세어 보는 정도의 확인은 넣어 두는 편이 안전합니다.

이 AI 맞춤법 실험이 답하지 못하는 것

정직하게 밝혀 둘 것이 셋 있습니다.

채점 기준이 한 곳에서 지나치게 좁았습니다. 얼마나 울었든지 모른다를 울었던지로 고치는 것을 정답으로 잡았는데, 모델들은 울었는지로 고쳤습니다. 울었는지도 성립하는 문장입니다. 원문의 오류는 사라졌으니 실패로 볼 일이 아니었습니다. 이 문항은 오답 처리에서 빼고 읽으셔야 합니다.

OpenAI 모델만 봤습니다. 클로드와 제미나이는 재지 않았습니다. 국립국어원이나 부산대 맞춤법 검사기 같은 전용 도구와의 비교도 하지 않았습니다. 전용 도구가 규칙 기반이라는 점을 생각하면 규칙성 오류에서는 더 나을 가능성이 있습니다.

60문항은 적습니다. 문항을 제가 골랐기 때문에 선택 편향도 있습니다. 방향(규칙은 잘하고 뜻은 못한다)은 두 차례 실험에서 일관되게 나왔지만, 정확한 수치를 다른 문서에 그대로 옮기지는 마시기 바랍니다.

마무리

AI 맞춤법 교정은 철자·활용·띄어쓰기에서는 믿을 만합니다. 여섯 번 중 여섯 번을 맞히는 항목이 여럿이었고 비용도 문장 1,000개에 3센트가 안 됩니다. 반면 지양/지향이나 늘이다/늘리다처럼 뜻으로 갈리는 자리는 절반 이하로 떨어집니다.

그래서 쓰는 방법이 정해집니다. 1차 교정은 싼 모델에 맡기고, 낱말 선택이 걸린 자리만 사람이 본다. 그리고 지시문에 “문체를 건드리지 마라”를 넣지 마시기 바랍니다. 정확해 보이는 그 한 줄이 실제로는 고쳐야 할 것까지 면제해 줍니다.

낱말의 뜻 구분은 국립국어원 표준국어대사전에서 직접 확인하실 수 있습니다.

문항 60개 전체와 실행 스크립트는 따로 공개해 두었습니다. 본문 표에는 일부만 실었으니, 그대로 복사해 같은 실험을 다시 돌려 보셔도 됩니다.

콘텐츠 제작·자동화와 관련된 글도 함께 보면 흐름이 잘 잡힙니다.

• 한글 OCR, 맥 내장이 GPT보다 정확했다
• 한글 파일명 깨짐, 진짜 원인 네 가지
• 한국어 토큰, 아직도 영어의 2배일까

이 글은 한국어 AI 실측 묶음에 속합니다. 같은 주제의 글을 배우는 순서대로 묶어 두었으니 묶음 페이지에서 이어 보세요.

글쓴이 · K.Lee — 파티시에로 일하며 AI·자동화 도구를 실무에 매일 씁니다. 확인한 범위와 확인하지 못한 범위를 글 안에 밝힙니다. 운영자 소개 · 편집 원칙 · 수정 정책