7월 31일 DeepSeek이 V4-Flash의 정식판을 내놨습니다. 눈길을 끄는 건 성능 수치가 아니라 비교 대상입니다. 작은 모델인 DeepSeek V4 Flash가 같은 회사의 더 큰 모델 V4-Pro를 에이전트 과제에서 앞질렀다고 발표했습니다. 이 글에서는 실제로 무엇이 바뀌었는지, 공개된 점수를 어떻게 읽어야 하는지, 그리고 지금 이 모델을 붙여 쓸 만한지를 정리했습니다.
📌 핵심 요약
- 모델 구조는 4월 프리뷰와 같습니다. 달라진 것은 후속 학습 방식 하나뿐입니다.
- 그런데 Terminal Bench 2.1에서 82.7 대 72.1로, 더 큰 V4-Pro 프리뷰를 앞섰습니다.
- 이 점수는 DeepSeek 자체 평가 도구를 추론 강도 최대로 놓고 잰 값입니다. 독립 측정치는 그보다 3.7점 낮습니다.
에이전트나 코딩 자동화에 붙일 모델을 고르는 사람, 값이 싼 오픈 모델로 갈아탈지 저울질하는 사람에게 해당하는 이야기입니다.
구조는 그대로, 학습만 바꿨습니다
이 발표에서 가장 중요한 대목은 성능 수치가 아닙니다. 모델 크기를 키우지 않았다는 사실입니다. 모델 카드는 6월에 나온 DSpark판과 같은 구조라고 밝히는데, 그건 4월 프리뷰 본체에 투기적 디코딩 모듈을 붙인 형태입니다. 파라미터 규모는 그대로 두고 코딩·에이전트·추론·도구 사용에 초점을 맞춰 후속 학습만 다시 돌렸습니다.
같은 몸으로 다른 점수가 나왔다는 뜻입니다. 지금까지 성능을 올리는 표준 답안은 모델을 키우는 것이었는데, 이번 사례는 병목이 크기가 아니라 학습 방식 쪽에 있었다고 주장합니다. 규모는 총 2,840억 파라미터 MoE인데, 토큰 하나를 처리할 때 실제로 켜지는 활성 파라미터는 130억입니다. 전체의 4.6%만 돌아간다는 뜻입니다. 비교 대상인 V4-Pro가 총 1조 6,000억·활성 490억이니 체급 차이가 큽니다. 컨텍스트는 100만 토큰, 가중치는 MIT 라이선스로 공개됐습니다.
추론 강도를 low·high·max 세 단계로 고르는 설정도 붙었습니다. 답하기 전에 얼마나 오래 따져볼지를 사용자가 정하는 방식입니다.
점수판
| 항목 | V4-Flash-0731 | V4-Flash (프리뷰) | V4-Pro (프리뷰) |
|---|---|---|---|
| Terminal Bench 2.1 | 82.7 | 61.8 | 72.1 |
| Cybergym | 76.7 | 38.7 | 52.7 |
| DeepSWE | 54.4 | 7.3 | 12.8 |
| DSBench-Hard † | 59.6 | 25.8 | 31.1 |
가운데 열이 같은 몸의 이전 점수입니다. 오른쪽은 체급이 다른 상위 모델입니다. 두 방향으로 읽어야 합니다. DeepSWE는 같은 구조 기준 7.3에서 54.4로 일곱 배 넘게 올랐습니다. 상위 모델의 12.8과 비교해도 네 배가 넘습니다.
† DSBench-Hard는 DeepSeek이 자체적으로 만든 비공개 테스트셋입니다. 나머지 셋과 달리 외부에서 같은 문제로 검증할 방법이 없습니다.
이 표를 어떻게 읽어야 하나
여기서 멈추고 조건을 봐야 합니다. 이 점수는 DeepSeek이 자사 평가 도구(DeepSeek Harness)로 직접 잰 값입니다. 조건도 공개돼 있습니다. 코드 에이전트 과제 기준으로 minimal 모드, 추론 강도 max, temperature = 1.0, top_p = 0.95입니다.
문제는 그 평가 도구가 아직 공개되지 않았다는 점입니다. 모델 카드에 to be released로 적혀 있습니다. 같은 조건으로 다시 재는 것이 지금은 불가능합니다.
대신 다른 조건으로 잰 값은 있습니다. 독립 평가 기관 Artificial Analysis가 발표 당일 자체 조건으로 측정한 Terminal Bench 2.1은 79였습니다. DeepSeek 발표치 82.7보다 3.7점 낮습니다. 조작이라는 뜻이 아니라, 조건이 달라지면 점수도 달라진다는 뜻입니다. 추론 강도를 최대로 놓고 잰 값을 기본값으로 쓰는 사람이 그대로 볼 이유는 없습니다.
이 블로그에서 프롬프트 실험을 직접 돌렸을 때도 같은 문제를 만났습니다. 조건을 똑같이 맞춰 두 번 실행했는데 한 번은 지시를 지키고 한 번은 어겼습니다. 한 번의 실행은 통계가 아닙니다. 벤치마크 한 줄도 마찬가지입니다.
그래서 지금 쓸 만한가
가중치가 MIT 라이선스로 열려 있어서 직접 받아 돌려볼 수 있습니다. 이게 실질적인 차이입니다. 폐쇄형 모델의 발표 수치는 믿거나 말거나지만, 이건 내 과제로 직접 확인할 수 있습니다.
권하는 순서는 이렇습니다. 벤치마크 순위를 보고 갈아타지 말고, 지금 돌리고 있는 작업 중 대표적인 것 하나를 골라 같은 입력으로 비교해 보시기 바랍니다. 에이전트 과제는 특히 환경에 따라 결과가 크게 흔들립니다. 남의 점수표보다 내 파이프라인에서 나온 결과가 항상 더 정확합니다.
🔭 관전 포인트
- DeepSeek Harness가 실제로 공개되는지. 공개돼야 발표치를 같은 조건에서 검증할 수 있습니다.
- 추론 강도 기본값에서의 점수가 따로 공개되는지.
max전용 수치만 남으면 실사용 체감과 벌어집니다. - 다른 곳도 모델 키우기 대신 후속 학습 재설계로 방향을 트는지.
마무리
DeepSeek V4 Flash는 크기를 키우지 않고 후속 학습만 다시 해서 자사 상위 모델의 에이전트 점수를 넘어섰습니다. 같은 몸의 이전 판과 비교하면 일곱 배가 넘게 오른 항목도 있습니다. 다만 그 점수는 아직 공개되지 않은 자체 평가 도구를 추론 강도 최대로 놓고 잰 값이고, 독립 측정에서는 3.7점 낮게 나왔습니다.
에이전트나 코딩 자동화에 쓸 모델을 고르는 중이라면, 가중치가 열려 있다는 점을 활용해 직접 재 보시기 바랍니다. 지금 쓰는 작업 하나를 같은 입력으로 돌려 보는 것만으로도 남의 점수표보다 나은 근거가 생깁니다.
AI 산업 경쟁 구도를 더 보려면 아래 글도 참고할 만합니다.
글쓴이 · K.Lee — 파티시에로 일하며 AI·자동화 도구를 실무에 매일 씁니다. 확인한 범위와 확인하지 못한 범위를 글 안에 밝힙니다. 운영자 소개 · 편집 원칙 · 수정 정책
출처: DeepSeek (Hugging Face 모델 카드) · Artificial Analysis 독립 평가 · MarkTechPost
답글 남기기