아니요. AI 탐지가 저자임을 입증하는 증거인가요? 그렇지 않습니다. 탐지기 점수는 통계 모델이 산출한 확률 추정치입니다 — 여러 신호 중 하나의 약한 신호일 뿐입니다. 이를 더 자세히 살펴볼 이유로 취급하되, 결코 판정으로 취급하지 마세요. 점수가 누군가를 고발하는 데 사용되는 순간, 당신은 그들에게 절차를 제공할 의무가 있습니다: 공개, 답변할 기회, 그리고 문서화된 결정입니다.
핵심 요점
- 탐지기 점수는 확률이지 판정이 아닙니다. 문장을 누가 썼는지 알려줄 수 없으며, 텍스트가 모델 출력과 얼마나 유사한지만 알려줍니다.
- 자체 측정(2026-09-19, n = 46개의 손으로 작성한 DeAIze 가이드, 30% 플래그 임계값)에서 사람이 작성한 텍스트의 평균 AI 점수는 27%였고, 46개 중 17개가 플래그되었습니다. 이것이 한 줄로 요약된 오탐 문제입니다.
- 적법 절차란 피의자가 점수를 보고, 어떤 도구가 이를 생성했는지 알며, 어떤 처벌 전에 답변할 수 있음을 의미합니다.
- 결과만이 아니라 추론을 문서화하세요. “점수가 높았다”는 결정 기록이 아닙니다.
- 플래그를 뒷받침하는 다른 증거가 무엇인지 물어보세요: 초안, 버전 기록, 구두 변론, 인용 확인, 작성 이력.
AI 탐지 증거는 왜 그 자체로 그렇게 약한가요?
탐지기는 표면 통계를 봅니다: 각 단어가 얼마나 예측 가능한지, 문장 길이가 얼마나 다양한지, 텍스트가 패턴을 얼마나 자주 반복하는지. 이러한 신호는 기계 생성과 상관관계가 있습니다. 또한 신중한 학술 문체, 번역된 텍스트, 정형화된 법률 문서, 그리고 비원어민 작가가 자주 사용하도록 배우는 쉬운 영어와도 상관관계가 있습니다. 이러한 중첩 때문에 모델이 전혀 건드리지 않은 문서에서도 점수가 높게 나올 수 있습니다.
30% 플래그 임계값에서 46개의 손으로 작성한 DeAIze 가이드에 대해 실행한 로컬 앙상블은 평균 AI 점수 27%, 중앙값 25%, 범위 0에서 55를 산출했습니다. 그 46개의 인간 문서 중 17개가 플래그되었습니다. 아무것도 생성되지 않았습니다. 점수는 단순히 기준선 위에 놓였을 뿐입니다.
같은 실행에서 편집되지 않은 모델 구절 12개가 평가되었습니다: 평균 35%, 중앙값 34%, 범위 25~49. 겹치는 부분을 주목하세요. 인간의 글과 편집되지 않은 모델 출력은 인접한 대역을 차지합니다. 단일 숫자로는 이들을 깔끔하게 구분할 수 없으며, 그렇지 않은 척하는 모든 프로세스는 잘못된 사람에게 불이익을 줄 것입니다.
그 실행에서 나온 또 하나의 수치는 곱씹어 볼 가치가 있습니다. AI 티(tell) 빈도 — 상투적 표현, 완곡어법, 군더더기의 밀도 — 는 인간 샘플에서 100단어당 3회, 편집되지 않은 모델 출력에서 100단어당 1회였습니다. 인간이 기계보다 더 많은 티를 사용했습니다. “그냥 읽어보면 알 수 있다”는 직감이 든다면, 그 직감 역시 측정 가능할 정도로 신뢰할 수 없습니다.
점수가 누군가에게 불리하게 사용될 때 적법 절차는 어떤 모습인가요?
이 맥락에서 적법 절차는 법적 공식이 아닙니다. 이는 피의자에게 공정하게 답변할 기회를 주는 일련의 순서입니다. 교사, 편집자 또는 HR 작성자에게는 다음과 같이 보입니다:
- 플래그와 판정을 분리하세요. 도구가 점수를 반환했다는 사실을 기록하세요. 그 사람이 AI를 사용했다고 기록하지 마세요.
- 도구와 점수를 공개하세요. 탐지기 이름, 알려진 경우 버전, 정확한 판독값을 명시하세요. 도구에 대한 비밀은 이의 제기를 불가능하게 만듭니다.
- 문장 수준의 분석을 보여주세요. 문서 전체 숫자는 어떤 줄이 신호를 담고 있었는지 숨깁니다. 도구가 문서 점수만 제공한다면 그렇게 말하세요 — 그 한계도 기록에 포함되어야 합니다.
- 결정하기 전에 답변을 요청하세요. 그 사람에게 자신의 과정을 설명하거나, 초안을 보여주거나, 내용을 구두로 논의하도록 요청하세요.
- 뒷받침 증거를 고려하세요. 버전 기록, 같은 목소리의 이전 작업, 인용된 출처, 그리고 그 사람이 자료를 논의할 수 있는 능력은 모두 점수보다 더 중요합니다.
- 결정하고 기록하세요. 무엇에 의존했고, 무엇을 배제했으며, 그 이유를 명시하세요.
당신이 이 문제를 받아들이는 입장이라면, 이에 대한 실질적인 거울은 False Positive AI Detector: What to Do When You’re Accused에서 다루고 있습니다. 단계는 동일하며, 단지 앉은 자리만 바뀔 뿐입니다.
검사를 실행하는 사람이라면, 먼저 자신의 프로세스에서 실행해 보세요. DeAIze의 탐지기는 문서 점수를 보여주고 각 문장을 AI 확률에 따라 강조 표시하므로, 플래그가 이상한 단락 하나에 있는지 아니면 전체 글에 걸쳐 있는지 확인할 수 있습니다. 이는 공정한 결정에 필요한 바로 그 세부 사항입니다.
플래그에 따라 조치하기 전에 어떤 질문을 해야 할까요?
어떤 결과가 따르기 전에 다음 사항을 검토하세요. 이에 답할 수 없다면, 조치할 준비가 되지 않은 것입니다.
| 질문 | 중요한 이유 |
|---|---|
| 어떤 도구, 어떤 버전, 어떤 임계값인가? | 점수는 도구와 설정에 따라 달라집니다. 한 임계값에서의 플래그가 다른 임계값에서는 존재하지 않을 수 있습니다. |
| 점수가 전체 문서에 대한 것인가, 특정 문장에 대한 것인가? | 단일 플래그된 단락은 전체적으로 플래그된 에세이와는 매우 다른 신호입니다. |
| 그 사람에게 문서화된 글쓰기 이력이 있는가? | 동일한 목소리로 작성된 이전 작업은 강력한 반증입니다. |
| 번역, 템플릿 언어 또는 쉬운 영어 지시가 설명이 될 수 있는가? | 이들은 알려진 오탐의 원인입니다. |
| 점수가 틀렸다면 어떤 일이 발생하는가? | 답이 “돌이킬 수 없는 피해”라면, 증거 기준을 더 높여야 합니다. |
| 그 사람에게 점수를 알려주고 답변할 기회를 주었는가? | 그렇지 않다면 중단하세요. 이것이 절차입니다. |
마지막 행은 형식적인 것이 아닙니다. 그 사람이 혐의를 보기 전에 내린 결정은 서류에 무엇이라고 적혀 있든 적법 절차가 아닙니다.
부분적으로 탐지기에 의존하는 결정을 어떻게 문서화합니까?
2년 후에 이 사건에 대한 기억이 전혀 없는 사람이 읽을 것처럼 기록을 작성하세요. 쓸 만한 기록에는 네 부분이 있습니다:
- 도구가 보고한 내용. 도구 이름, 날짜, 점수, 임계값, 그리고 판독이 문서 수준이었는지 문장 수준이었는지. 탐지기 점수는 확률 추정치일 뿐, 저자임을 입증하는 증거가 아니라는 점을 명시하세요.
- 그 외에 검토한 내용. 초안, 수정 이력, 구두 논의, 출처 확인, 이전 작업물. 플래그에 반하는 내용을 포함해 발견한 모든 것을 나열하세요.
- 결론과 그 이유. “점수가 높았다”와 “점수가 높았고, 당사자가 논증을 설명하지 못했으며, 초안이 존재하지 않았다”를 구분하세요. 두 번째만이 사실 확인 결과입니다.
- 취한 조치. 조치, 그 범위, 이의 제기 경로.
정책에서 명시적으로 요구하지 않는 한 원점수를 공개 또는 영구 파일에 남기지 마세요. 나중에 신뢰할 수 없는 것으로 판명되는 확률 추정치가 누군가를 수년간 따라다녀서는 안 됩니다.
편집자와 콘텐츠 팀도 같은 원칙을 적용할 수 있습니다. 프리랜서 초안에 플래그가 지정되면, 기록으로 남길 것은 의뢰서, 수정 이력, 작성자 본인의 메모이지 숫자가 아닙니다. AI 탐지가 작동하는 방식에 대한 저희 가이드는 어떤 신호가 점수에 반영되는지 설명하며, 이는 특정 장르에서 그 점수에 얼마나 비중을 둘지 판단하는 데 도움이 됩니다.
점수에 이의를 제기하는 학생이나 직원에게 무엇을 말해야 할까요?
먼저 실제 한계를 인정하는 것부터 시작하세요. 탐지기는 확률적입니다. 서로 다른 결과를 내놓습니다. 인간이 쓴 글에도 플래그를 지정합니다. 그것이 사실이고, 그렇지 않은 척하면 상대방이 직접 주제를 검색하는 순간 신뢰가 무너지기 때문에, 이를 분명히 말하세요.
그런 다음 세 가지를 하세요:
- 보고서를 보여주세요. 점수, 신호를 담고 있던 문장들, 그리고 도구 자체가 명시한 주의사항을 보여주세요.
- 어떤 점이 당신의 생각을 바꿀지 설명하세요. 초안 기록, 논증에 대한 짧은 구두 설명, 같은 문체로 쓴 이전 작업물 등이 있습니다. 벽이 아니라 길을 제시하세요.
- 과정과 결과를 분리하세요. 어떤 표시가 조사할 가치가 있다고 믿으면서도 그 사람이 그 작업물을 썼다고 결론 내릴 수 있습니다. 그렇게 말하는 것은 약함이 아니라 시스템이 제대로 작동하고 있다는 뜻입니다.
분쟁이 계속되면 서면으로 이의 제기 경로를 안내하고 자신의 기록은 사실에 근거해 유지하세요. 학문적 사안의 경우, 학문적 진실성 청문회 AI: 패널이 평가하는 것에서 패널이 실제로 무엇을 저울질하는지 — 보통 원시 수치가 아니라 설명의 질과 뒷받침 — 를 자세히 다룹니다.
왜 교사와 패널은 여전히 이것을 잘못 판단할까요?
숫자는 객관적으로 느껴지기 때문입니다. 소프트웨어가 만들어내고, 소수점이 붙어 있으며, 사람이 작품을 읽기 전에 도착합니다. 이는 완전히 거꾸로 된 것입니다. 점수는 초안 기록, 대화, 그리고 내용 자체를 본 뒤에 가장 마지막으로 봐야 할 것입니다.
피해에도 비대칭성이 있습니다. 거짓 양성은 피의자에게 막대한 시간과 스트레스를 초래하지만, 거짓 음성은 기관에 거의 비용을 발생시키지 않습니다. 모든 것을 잡아내도록 최적화된 시스템은 설계상 거짓 양성을 만들어냅니다. 정책이 그 상충관계를 명시하지 않는다면, 그것은 정책이 아니라 선호일 뿐입니다.
정책 작성자는 자신의 규칙이 지금 하는 일을 허용하는지도 확인해야 합니다. 학문적 진실성 정책 AI: 당신의 대학이 실제로 허용하는 것은 이에 대한 유용한 점검 자료이며, AI 탐지 vs 표절: 서로 다른 두 가지 실패는 표절 판정과 AI 플래그가 동일한 혐의가 아닌 이유를 명확히 설명합니다.
작성된 정책에 실제로 무엇이 명시되어야 할까요?
방어 가능한 정책은 도구, 임계값, 인간 검토 단계, 이의 제기 경로를 명시합니다. 탐지기 점수만으로는 처벌이 발동되지 않는다고 명시합니다. 점수를 볼 수 있는 사람과 보존 기간을 명시합니다. 결정 전에 피의자에게 증거를 제시하도록 요구합니다.
또한 기관이 하지 않을 일도 명시해야 합니다: 확률 추정치를 증거로 취급하지 않으며, 피의자가 볼 수 없는 도구에 근거해 조치하지 않습니다. 이 두 문장이 뉴스에 나오는 대부분의 사례를 예방합니다.
마지막으로 검토 날짜를 정하세요. 탐지기 동작은 변하고, 임계값은 재조정되며, 한 학기에 한 도구의 출력을 기준으로 작성된 정책은 나중에 틀리게 됩니다. 매년 다시 읽고 자체 플래그 데이터와 대조해 확인하세요.
어떤 문장이 기계가 만든 것처럼 읽히는지 확인할 준비가 되셨나요?
판단을 내려야 하는 사람이라면, 논쟁을 벌이기 전에 문장 단위의 시각을 먼저 확보하세요. DeAIze의 AI 탐지기(/ai-detector/)를 통해 초안을 실행하여 문서 점수와 표시된 모든 문장을 확인하면, 문제가 된 단락 하나만 보는 것인지 문서 전체를 보는 것인지 알 수 있습니다. 표시가 본인이 작성한 부분에 있다면, 초안 편집기(/draft-editor/)를 통해 표시된 줄만 다시 작성하고 의미가 유지되었는지 확인할 수 있습니다. 요금은 사용한 만큼 지불하는 방식이며, 크레딧은 만료되지 않고, 무료 등급은 가입 시 신용카드 없이 200단어를 제공합니다 — deaize.com/register(/register)에서 시작하거나 먼저 요금 페이지(/pricing/)를 확인하세요. 탐지기 점수는 확률 추정치일 뿐, 저자임을 증명하는 것이 아닙니다. 어디를 살펴볼지 결정하는 데 사용하고, 무엇을 결론 내릴지 결정하는 데 사용하지 마세요.