Perplexity는 앞에 오는 단어들을 고려할 때 각 단어가 얼마나 예측 가능한지를 측정합니다. Burstiness는 한 문단에서 문장 길이와 구조가 얼마나 다양하게 변하는지를 측정합니다. 탐지기는 이 두 신호를 다른 신호들과 결합하여 텍스트가 기계 생성되었는지 추정합니다. 어느 지표도 저자를 증명하지 않으며, 둘 다 편집으로 바뀔 수 있습니다.
핵심 요약
- Perplexity는 예측 가능성 점수입니다. 낮은 perplexity는 각 다음 단어가 문맥에서 쉽게 추측되었다는 뜻입니다.
- Burstiness는 변동성 점수입니다. 낮은 burstiness는 문장들이 모두 대략 같은 길이와 형태라는 뜻입니다.
- 탐지기는 이를 판결이 아니라 신호로 읽습니다. 높은 점수는 확률 추정치일 뿐 증거가 아닙니다.
- 문장 길이 변동은 가장 빠르게 당길 수 있는 지렛대입니다. burstiness를 직접 움직이면서 동시에 perplexity도 바꾸기 때문입니다.
- 2026-09-19에 우리가 직접 측정한 결과, 손으로 작성한 DeAIze 가이드는 평균 AI 점수 27%(n = 46)였고, 편집하지 않은 모델 출력은 평균 35%(n = 12)였습니다. 겹친다는 점이 핵심입니다.
- 어떤 탐지기에서도 편집만으로 보장된 숫자에 도달할 수 없으며, 그렇게 시도해서도 안 됩니다.
AI 탐지에서 perplexity란 무엇인가?
언어 모델링에서 perplexity는 놀라움의 정도를 측정하는 지표입니다. 모델은 앞에 나온 모든 내용을 바탕으로 각 단어에 확률을 부여합니다. 모델이 “the”를 높은 확신으로 예상한다면, 그 단어는 거의 놀라움을 주지 않습니다. Perplexity는 문단 전체에 걸친 그 확률들을 하나의 숫자로 집계합니다. 낮은 perplexity는 텍스트를 예측하기 쉬웠다는 뜻이고, 높은 perplexity는 예측하기 어려웠다는 뜻입니다.
탐지기는 언어 모델을 사용합니다. 흔히 텍스트를 작성한 모델보다 더 작고 빠른 모델을 사용하여, 같은 방식으로 당신의 초안에 점수를 매깁니다. 모델이 예측하기 쉽다고 여기는 텍스트는 기계 생성처럼 보이는 경향이 있습니다. 생성 모델은 그럴듯한 연속을 만들어내도록 최적화되어 있기 때문입니다. 인간의 글에는 국소적인 놀라움이 더 많습니다. 갑자기 등장하는 구체 명사, 곁가지, 예상 경로를 따르지 않는 절 같은 것들입니다.
그렇기 때문에 유창하고 세련된 문단이 기계가 만든 것으로 판정될 수 있습니다. 유창함과 예측 가능성은 가까운 사촌입니다. 깔끔한 문장의 규칙 — 아무것도 변화시키지 말고, 모든 것을 연결하고, 놀라움을 피하라 — 을 내면화한 작가는 챗봇을 한 번도 열지 않고도 진정으로 낮은 혼란도를 가진 텍스트를 만들어낼 수 있습니다.
혼란도는 또한 짧은 텍스트가 신뢰할 수 없는 이유이기도 합니다. 두 문장 샘플은 모델에게 놀랄 만한 맥락을 거의 제공하지 않으므로 추정치가 크게 요동칩니다. 단편을 확인하는 경우에는 잡음을 예상하세요.
AI 탐지에서 버스티니스란 무엇인가?
버스티니스는 리듬에 관한 것입니다. 문장 길이를 측정하고 그것들이 얼마나 다른지 살펴보세요. 모든 문장이 18~22단어인 구절은 버스티니스가 낮습니다. 6, 31, 12, 44, 9로 이어지는 구절은 버스티니스가 높습니다.
인간 작가는 우연히 버스티한 글을 씁니다. 아이디어를 풀어야 할 때는 길고 조건이 붙은 문장을 쓰고, 그다음에는 짧은 문장으로 마무리합니다. 우리는 스스로를 방해합니다. 그렇게 하는 것이 더 좋게 들렸기 때문에 절을 앞에 배치합니다. 기계 출력은 안전하고 완전한 문장에 보상을 주는 분포에서 샘플링하기 때문에 꾸준한 중간 길이의 리듬으로 향하는 경향이 있습니다.
버스티니스는 문자 그대로 셀 수 있기 때문에 혼란도보다 보기 쉽습니다. 초안을 열고 문장 길이를 열에 적고 모양을 살펴보세요. 숫자가 모여 있다면, 누가 또는 무엇이 텍스트를 썼든 버스티니스 문제가 있는 것입니다.
자신의 초안에서 버스트성을 추측하지 않고 직접 확인하고 싶다면, AI 탐지기가 모든 문장을 AI 확률별로 강조 표시하므로, 무엇을 바꾸기 전에 어떤 줄이 신호를 담고 있는지 정확히 볼 수 있습니다.
문장 길이 변화는 AI 점수를 어떻게 움직이나요?
문장 길이는 통제하기 가장 쉬운 단일 변수이며, 두 지표 모두에 영향을 줍니다.
긴 문장과 짧은 문장을 번갈아 쓰면 버스트성을 직접 높입니다. 또한 퍼플렉서티도 간접적으로 높입니다. 긴 문장 뒤의 아주 짧은 문장은 언어 모델이 예측하기 더 어렵습니다. 예상되는 이어짐이 또 다른 긴 문장이었기 때문입니다. 두 지표는 독립적이지 않습니다. 구조의 변화는 단어 선택에서 예상을 깨는 효과를 만듭니다.
다음은 실제 문서가 아닌 작은 예시입니다:
변경 전(단조로운 리듬):
이 연구는 여러 대도시 지역에서 도시 밀도와 대중교통 이용 간의 관계를 조사한다. 분석은 여러 해에 걸쳐 수집된 설문 데이터를 활용한다. 연구 결과는 밀도만으로는 승객 수 패턴을 예측할 수 없음을 시사한다. 저자들은 지역 정책 맥락에 대한 추가 연구를 권장한다.
모든 문장이 비슷한 길이와 동일한 구조를 가진다: 주어, 동사, 목적어, 수식어. 요약문처럼 읽히는데, 실제로 요약문이기 때문이다.
이후 (다양한 리듬):
밀도만으로는 대중교통 이용을 예측할 수 없다. 이것이 연구 결과이며, 이는 여러 대도시 지역과 수년간의 설문 데이터를 거쳐도 유지된다. 그렇다면 승객 수를 예측하는 것은 무엇인가? 지역 정책이다. 저자들은 이에 대한 더 많은 연구를 원하는데, 이는 밀도 논리가 과대평가되었다는 것을 완곡하게 표현한 것이다.
동일한 주장이다. 두 번째 버전은 질문을 던지고, 세 단어 문장을 사용하며, 한 문장을 길게 늘어뜨린다. 버스티니스가 더 높고, 단어별로 점수를 매기는 모델은 더 많은 곳에서 놀랄 수 있다.
어느 버전도 본질적으로 더 정직하지 않다. 두 번째 버전은 단지 덜 예측 가능할 뿐이다.
편집되지 않은 모델 출력이 때때로 여전히 낮은 점수를 받는 이유는 무엇인가요?
이 부분은 대부분의 설명에서 건너뛰는 부분입니다. 2026-09-19에 우리가 직접 측정한 결과, 30% 플래그 임계값에서 DeAIze 탐지기를 사용하여 12개의 편집되지 않은 모델 구절을 46개의 손으로 쓴 DeAIze 가이드와 비교 채점했습니다. 편집되지 않은 모델 출력은 평균 AI 점수 35% (중앙값 34%, 범위 25-49%)를 기록했습니다. 사람이 작성한 가이드는 평균 27% (중앙값 25%, 범위 0-55%)였습니다.
분포가 겹칩니다. 일부 사람 가이드는 일부 모델 구절보다 높은 점수를 받았습니다. 이것이 정직한 그림입니다: 퍼플렉서티와 버스티니스는 신호이며, 신호는 겹칩니다. 이들로부터 확실성을 보고하는 탐지기는 여러분에게 거짓말을 하는 것입니다.
우리는 같은 실행에서 AI 티ell 빈도도 세었습니다: 사람 샘플에서는 100단어당 3개, 편집되지 않은 모델 출력에서는 100단어당 1개였습니다. 사람 작가들은 모델보다 사람들이 기계 글쓰기와 연관시키는 상투적인 표현 — “moreover”, “it is worth noting”, 연결 구조 — 을 더 많이 사용했습니다. 티ell은 그 자체로 약한 신호이며, 잘못된 방향을 가리킬 수 있습니다.
이러한 신호가 다른 신호와 어떻게 결합되는지에 대한 더 넓은 그림을 원하시면, AI 탐지 작동 방식이 전체 스택을 다룹니다.
퍼플렉서티와 버스티니스를 변화시키는 구체적인 편집 방법
이것들은 실제로 수치를 움직이는 방법들입니다. 자신의 초안에서 직접 해보세요.
- 문장 길이를 세어보세요. 목록으로 만들어 보세요. 편차가 좁다면, 그것이 첫 번째 수정 사항입니다.
- 긴 문장 하나를 세 개로 나누세요. 두 개가 아니라 세 개로 나누어, 그중 하나는 아주 짧게 만드세요.
- 텍스트가 설명하는 부분에 질문을 추가하세요. 직접적인 질문은 예상되는 다음 내용이 진술이었기 때문에 perplexity를 높입니다.
- 추상 명사 하나를 구체적인 명사로 바꾸세요. “여러 요인”이 “주차 최소 기준”이 됩니다. 구체성은 예측 불가능합니다.
- 접속사 하나를 제거하세요. “또한”, “게다가”, “추가로”는 어떤 문단에서든 가장 예측 가능한 단어들입니다.
- 시작을 다양하게 하세요. 연속된 세 문장이 주어로 시작한다면, 하나를 도치하세요.
- 소리 내어 읽어보세요. 귀는 눈보다 평평한 리듬을 더 빨리 감지합니다.
| 편집 | 버스트니스에 미치는 영향 | 퍼플렉시티에 미치는 영향 |
|---|---|---|
| 긴 문장을 세 개로 나누기 | 큰 증가 | 중간 증가 |
| 직접 질문 추가하기 | 중간 증가 | 큰 증가 |
| 추상 명사를 구체 명사로 바꾸기 | 작음 | 중간 증가 |
| 접속사 삭제하기 | 작음 | 작은 증가 |
| 강조를 위해 절을 앞으로 이동하기 | 중간 증가 | 중간 증가 |
| 모든 문장을 같은 길이로 다시 쓰기 | 큰 감소 | 큰 감소 |
마지막 행을 주목하세요. 점수의 가독성을 낮추면서 동시에 AI 점수를 높일 수 있습니다. 평평한 문장은 자동으로 인간처럼 보이는 것이 아니라, 그저 평평해 보일 뿐입니다.
이 두 지표의 한계는 무엇인가요?
퍼플렉시티와 버스트니스는 검사 가능하기 때문에 유용합니다. 문장 길이를 셀 수 있습니다. 모델이 어디에서 놀랐는지 확인할 수 있습니다. 이는 블랙박스 백분율에서 얻을 수 있는 것보다 더 많습니다.
하지만 그것들은 판결이 아니며, 판결처럼 취급하면 실제로 해가 됩니다.
깔끔한 글쓰기에 불이익을 줍니다. 하우스 스타일에 맞춰 문장 길이를 표준화하는 꼼꼼한 편집자는 버스트니스가 낮은 텍스트를 만들어냅니다. 교과서 규칙을 적용하는 비원어민 영어 작가도 마찬가지입니다. 이는 알려진 실패 유형이며, 이 설명이 당신에게 해당한다면 AI 탐지기가 비원어민 영어 작가를 표시하는 이유를 읽어볼 가치가 있습니다.
짧은 텍스트에서는 불안정합니다. 200단어 샘플로는 확신할 수 있는 추정을 뒷받침할 수 없습니다. 단일 문단도 마찬가지입니다.
그들은 누가 그 단어를 썼는지 모릅니다. 퍼플렉서티는 예측 가능성을 측정합니다. 사람이 쓴 예측 가능한 문단은 여전히 예측 가능합니다.
탐지기들은 서로 의견이 다릅니다. 다른 모델, 다른 임계값, 다른 훈련 데이터. 두 도구가 서로 다른 판독값을 제공한다면, 이는 예상된 동작이며 하나가 고장 났다는 증거가 아닙니다. AI 탐지기는 정확한가요?는 두 도구가 같은 에세이에 대해 의견이 다른 이유를 설명합니다.
지표를 위한 편집은 독자를 위한 편집과 같지 않습니다. 버스트니스를 쫓으면 끊기고 자의식적인 문장이 나올 수 있습니다. 문장이 길 때 더 잘 읽힌다면, 길게 두세요.
자신의 초안을 점검하는 실용적인 루틴
일반적인 글에서 약 10분 정도 걸리는 순서는 다음과 같습니다.
- 문서 전체 점수만이 아니라 문장 수준 하이라이트를 보여주는 탐지기를 통해 초안을 돌려보세요. AI 탐지기가 이렇게 합니다: 문서 전체에 대한 점수 하나와 문장별 분석을 제공합니다.
- 어떤 문장이 신호를 담고 있는지 살펴보세요. 보통 설명 섹션 중간에 비슷한 길이의 문장들이 연속으로 나옵니다.
- 그 문장들만 다시 쓰세요. 나머지는 그대로 두세요 — 전체 문서를 세탁하려는 것이 아니라 리듬 문제를 고치려는 것입니다.
- 다시 점수를 매기세요. 표시된 연속 문장이 사라졌다면 멈추세요. 숫자를 쫓지 마세요.
- 의미가 살아남았는지 확인하세요. 사람들이 건너뛰는 단계입니다. 주장을 바꾸는 재작성은 표시보다 더 나쁩니다.
그 마지막 요점은 어떤 지표보다도 중요합니다. AI를 사용해 섹션을 작성했다면 아이디어, 데이터, 결론은 여전히 당신의 것이어야 합니다. 버스티니스를 위해 다시 쓴다고 해서 다른 사람의 주장이 당신의 것이 되는 것은 아니며, 어떤 탐지기 점수도 그것을 바꾸지 않습니다.
초안이 아니라 공식적인 절차가 걱정된다면, 학문적 진실성 정책 가이드에서 기관들이 일반적으로 평가하는 내용을 설명합니다.
버스티니스와 퍼플렉시티가 더 큰 그림에서 어디에 해당하는가
이들을 같은 패널에 있는 두 개의 다이얼이라고 생각하세요. Perplexity는 단어 수준의 예측 가능성을 추적합니다. Burstiness는 구조적 변이를 추적합니다. 탐지기는 이들을 토큰 패턴, 반복 측정 및 기타 기능과 결합한 다음 확률을 출력합니다.
그 확률은 추정치입니다. 그것은 저자임을 증명하는 것이 아니며, 어떤 책임 있는 도구도 그것을 증명으로 제시해서는 안 됩니다. DeAIze는 자체 예측 점수에서 휴머나이징 후 평균 AI 점수 60% 이상 감소를 보고하며, 최고 사례는 71%이고, 사이트에 사용된 예시 문단에서는 92% AI 점수가 4% AI가 됩니다. 이는 우리의 예측 점수이지, 제3자 탐지기의 공식 판정이 아니며, 모든 도구가 보고하는 것과 일치하지 않을 것입니다.
신뢰할 수 있는 것은 메커니즘입니다. 평범한 문단이 왜 높은 점수를 받는지 이해하면, 추측 없이 자신의 방식대로 의도적으로 수정할 수 있습니다.
어떤 문장이 기계가 만든 것처럼 읽히는지 확인할 준비가 되셨나요?
Perplexity에 대해 읽는 것은 초안에서 그것을 보는 것과 다릅니다. 메커니즘을 배우는 가장 빠른 방법은 자신이 쓴 텍스트에서 작동하는 것을 지켜보는 것입니다.
AI detector로 시작하여 문장 수준의 분석을 받은 다음, draft editor를 사용하여 표시된 줄만 다시 작성하고 다시 점수를 매기세요. 약정하기 전에 루프가 어떻게 작동하는지 보고 싶다면, pricing에 만료되지 않는 크레딧이 있는 종량제 등급이 나열되어 있으며, 신용 카드 없이 200개의 무료 단어를 위해 register할 수 있습니다.
한 단락에 적용해 보세요. 강조된 문장들이 이미 밋밋하다고 짐작했던 문장들이라면, 메커니즘을 파악한 것입니다. 그것이 이 연습의 핵심입니다.