humanize-chinese

分类: 开发与编程 | 上传者: voidborne-d | 下载: 0 | 版本: v1.0（最新）

检测人工智能生成的中文文本并将其人性化。 20 多个规则检测类别加上 8 个 HC3 校准的统计特征（句子长度 CV Cohen 的 d=1.22、短句分数 d=1.21、逗号密度、GLTR 排名桶、DivEye 惊喜）。统一 CLI：./ humanize {检测、重写、学术、风格、比较}。 7种风格转换（休闲/知乎/小红书/微信/学术/文学/微博），40个释义模板，122个学术替换，带语义过滤的词林同义词扩展。 CNKI/维普/万方（知网/维普/万方AIGC检测降重）学术论文AIGC降重，11个学术检测维度。纯Python，无依赖。 v3.0.0 — HC3 准确度 73%，HC3-中文 100 个样本的人性化平均增量 +4.2。

更新日志: Source: GitHub https://github.com/voidborne-d/humanize-chinese

目录结构

当前层级: tree/main/

📁 claude-code/
- 📄 academic.md 2.8 KB
- 📄 detect.md 2.0 KB
- 📄 humanize.md 1.9 KB
- 📄 README.md 1.9 KB
- 📄 style.md 1.4 KB
📁 evals/
- 📁 oracles/
  - 📄 __init__.py 18 B
  - 📄 paperpass_adapter.py 4.6 KB
  - 📄 zhuque_adapter.py 3.3 KB
- 📄 compression_oracle.py 6.8 KB
- 📄 evals.json 1.6 KB
- 📄 run_hc3_benchmark.py 15.0 KB
- 📄 run_longform_benchmark.py 15.9 KB
- 📄 v5_calibrate.py 11.3 KB
📁 examples/
- 📄 sample_academic.txt 854 B
- 📄 sample_general.txt 1.3 KB
- 📄 sample_long_blog.txt 4.4 KB
- 📄 sample_social.txt 1.5 KB
- 📄 sample_workplace.txt 549 B
📁 scripts/
- 📄 academic_cn.py 66.4 KB
- 📄 cilin_synonyms.json 2.1 MB
- 📄 compare_cn.py 5.6 KB
- 📄 detect_cn.py 32.8 KB
- 📄 humanize.py 3.1 KB
- 📄 humanize_cn.py 101.2 KB
- 📄 lr_coef_academic.json 2.4 KB
- 📄 lr_coef_cn.json 2.3 KB
- 📄 lr_coef_longform.json 2.7 KB
- 📄 ngram_freq_cn.json 149.2 KB
- 📄 ngram_freq_cn_human_holdout.json 20.5 KB
- 📄 ngram_model.py 58.1 KB
- 📄 patterns_cn.json 36.6 KB
- 📄 restructure_cn.py 53.2 KB
- 📄 style_cn.py 23.2 KB
- 📄 train_lr_academic.py 7.8 KB
- 📄 train_lr_longform.py 7.8 KB
- 📄 train_lr_multisource.py 8.8 KB
- 📄 train_lr_scorer.py 7.1 KB
- 📄 train_ngram_human.py 3.4 KB
- 📄 train_ngram_news.py 1.6 KB
- 📄 train_ngram_wiki.py 2.0 KB
📄 .gitignore 830 B
📄 humanize 318 B
📄 LICENSE 1.9 KB
📄 package.json 1.2 KB
📄 README.md 26.1 KB
📄 SKILL.md 10.5 KB

SKILL.md

---
name: humanize-chinese
description: >
  Detect and humanize AI-generated Chinese text. 20+ rule detection categories plus 8 HC3-calibrated
  statistical features (sentence-length CV Cohen's d=1.22, short-sentence fraction d=1.21, comma density,
  GLTR rank buckets, DivEye surprisal). Unified CLI: ./humanize {detect,rewrite,academic,style,compare}.
  7 style transforms (casual/zhihu/xiaohongshu/wechat/academic/literary/weibo), 40 paraphrase templates,
  122 academic replacements, CiLin synonym expansion with semantic filter. Academic paper AIGC reduction
  for CNKI/VIP/Wanfang (知网/维普/万方 AIGC 检测降重), 11 academic detection dimensions. Pure Python,
  no dependencies. v3.0.0 — HC3 accuracy 73%, humanize avg delta +4.2 on HC3-Chinese 100-sample.
  Use when user says: "去AI味", "降AIGC", "人性化文本", "humanize chinese", "AI检测", "AIGC降重",
  "去除AI痕迹", "文本改写", "论文降重", "知网检测", "维普检测", "AI写作检测", "让文字更自然",
  "detect AI text", "humanize text", "reduce AIGC score", "make text human-like",
  "去ai化", "改成人话", "去机器味", "降低AI率", "过AIGC检测"
allowed-tools:
  - Read
  - Write
  - Edit
  - exec
---

# Humanize Chinese AI Text v3.0

检测和改写中文 AI 生成文本的完整工具链。可独立运行（统一 CLI 或独立脚本），也可作为 LLM prompt 指南使用。

**v3.0 亮点：** HC3 accuracy 51→73% (+22 pts)；句长 CV Cohen's d=1.22 最强统计特征；40 paraphrase 模板 + 122 学术替换；统一 CLI + `--quick` 18× 速度。

## CLI Tools

### 统一 CLI（推荐）

```bash
./humanize detect 文本.txt -v                      # 检测 + 详细
./humanize rewrite 文本.txt -o 改后.txt --quick    # 快速改写（18× 速度）
./humanize academic 论文.txt -o 改后.txt --compare  # 学术降重 + 双评分对比
./humanize style 文本.txt --style xiaohongshu      # 风格转换
./humanize compare 文本.txt -a                      # 前后对比
```

### 独立脚本形式（等价）

所有脚本在 `scripts/` 目录下，纯 Python，无依赖。

```bash
# 检测 AI 模式（20+ 规则维度 + 8 统计特征，0-100 分）
python scripts/detect_cn.py text.txt
python scripts/detect_cn.py text.txt -v          # 详细 + 最可疑句子
python scripts/detect_cn.py text.txt -s           # 仅评分
python scripts/detect_cn.py text.txt -j           # JSON 输出

# 改写（三档自适应：conservative/moderate/full）
python scripts/humanize_cn.py text.txt -o clean.txt
python scripts/humanize_cn.py text.txt --scene social -a   # 社交 + 激进
python scripts/humanize_cn.py text.txt --quick             # 18× 速度，纯替换
python scripts/humanize_cn.py text.txt --cilin             # 启用 CiLin 同义词扩展

# 风格转换（先自动 humanize 再套风格）
python scripts/style_cn.py text.txt --style zhihu -o out.txt

# 前后对比
python scripts/compare_cn.py text.txt --scene tech -a

# 学术论文 AIGC 降重（11 维度 + 扩散度 + 双评分）
python scripts/academic_cn.py paper.txt -o clean.txt --compare
python scripts/academic_cn.py paper.txt -o clean.txt -a --compare  # 激进
python scripts/academic_cn.py paper.txt -o clean.txt --quick       # 快速模式
```

### 评分标准

| 分数 | 等级 | 含义 |
|------|------|------|
| 0-24 | LOW | 基本像人写的 |
| 25-49 | MEDIUM | 有些 AI 痕迹 |
| 50-74 | HIGH | 大概率 AI 生成 |
| 75-100 | VERY HIGH | 几乎确定是 AI |

### 参数速查

| 参数 | 说明 |
|------|------|
| `-v` | 详细模式，显示可疑句子 |
| `-s` | 仅评分 |
| `-j` | JSON 输出 |
| `-o` | 输出文件 |
| `-a` | 激进模式 |
| `--seed N` | 固定随机种子 |
| `--scene` | general / social / tech / formal / chat |
| `--style` | casual / zhihu / xiaohongshu / wechat / academic / literary / weibo |
| `--compare` | 前后对比（学术双评分） |
| `--quick` | 快速模式（跳过统计优化，18× 速度） |
| `--cilin` | 启用 CiLin 同义词扩展（humanize，38873 词） |
| `--no-humanize` | style 转换前不先去 AI 词 |

### 工作流

```bash
# 1. 检测
./humanize detect document.txt -v
# 2. 改写 + 对比
./humanize compare document.txt -a -o clean.txt
# 3. 验证
./humanize detect clean.txt -s
# 4. 可选：转风格
./humanize style clean.txt --style zhihu -o final.txt
```

### HC3-Chinese 基准测试

v3.0 所有阈值都基于 [HC3-Chinese](https://github.com/Hello-SimpleAI/chatgpt-comparison-detection) 300+300 人类/AI 样本的 Cohen's d 校准：

- 句长变异系数 CV: d = 1.22（最强单信号）
- 短句占比 (< 10 字): d = 1.21
- 困惑度: d = 0.47
- GLTR top-10 bucket: d = 0.44
- DivEye skew / kurt: d = 0.41 / 0.29
- 逗号密度: d = -0.47

100 样本回归测试：73% 正确分离率 / 9.9 分差距 / +4.2 平均降幅。

---

## LLM 直接使用指南

当用户要求"去 AI 味"、"降 AIGC"、"人性化文本"、"改成人话"时，如果无法运行 CLI 工具，按以下流程手动处理。

### 第一步：检测 AI 写作模式

扫描文本中的以下模式，按严重程度分类：

#### 🔴 高危模式（一眼就能看出是 AI）

**三段式套路：**
- 首先…其次…最后
- 一方面…另一方面
- 第一…第二…第三

**机械连接词：**
值得注意的是、综上所述、不难发现、总而言之、与此同时、由此可见、不仅如此、换句话说、更重要的是、不可否认、显而易见、不言而喻、归根结底

**空洞宏大词：**
赋能、闭环、数字化转型、协同增效、降本增效、深度融合、全方位、多维度、系统性、高质量发展、新质生产力

#### 🟠 中危模式

**AI 高频词：** 助力、彰显、凸显、底层逻辑、抓手、触达、沉淀、复盘、迭代、破圈、颠覆

**填充废话：** 值得一提的是、众所周知、毫无疑问、具体来说、简而言之

**模板句式：**
- 随着…的不断发展
- 在当今…时代
- 在…的背景下
- 作为…的重要组成部分
- 这不仅…更是…

**平衡论述套话：** 虽然…但是…同时、既有…也有…更有

#### 🟡 低危模式

- 犹豫语过多（在一定程度上、某种程度上 出现 >5 次）
- 列举成瘾（动辄①②③④⑤）
- 标点滥用（大量分号、破折号）
- 修辞堆砌（排比对偶过多）

#### ⚪ 风格信号

- 段落长度高度一致
- 句子长度单调
- 情感表达平淡
- 开头方式重复
- 信息熵低（用词可预测）

### 第二步：改写策略

按以下顺序处理：

**1. 砍掉三段式**
把"首先…其次…最后"打散，用自然过渡代替。不是每个论点都要编号。

**2. 替换 AI 套话**
- 综上所述 → 总之 / 说到底 / （直接删掉）
- 值得注意的是 → （直接删掉，后面的话自己能说清楚）
- 赋能 → 帮助 / 支持 / 提升
- 数字化转型 → 信息化改造 / 技术升级
- 不难发现 → 可以看到 / （删掉）
- 助力 → 帮 / 推动

**3. 句式重组**
- 过短的句子合并（"他很累。他决定休息。" → "他累了，干脆歇会儿。"）
- 过长的句子拆开（在"但是""不过""同时"等转折处断开）
- 打破均匀节奏（长短句交替，不要每句差不多长）

**4. 减少重复用词**
同一个词出现 3 次以上就换同义词。比如"进行"可以换成"做""搞""开展""着手"。

**5. 注入人味**
- 加一两句口语化表达（场景允许的话）
- 用具体的例子代替抽象概括
- 偶尔加个反问或感叹
- 不要每段都总分总结构

**6. 段落节奏**
打破每段差不多长的格局。有的段落 2 句话，有的 5 句话，像人写东西时自然的长短变化。

### 第三步：学术论文特殊处理

当文本是学术论文时，改写规则不同——不能口语化，要保持学术严谨性：

**学术专用检测维度：**
1. AI 学术措辞（"本文旨在""具有重要意义""进行了深入分析"）
2. 被动句式过度（"被广泛应用""被认为是"）
3. 段落结构过于整齐（每段总-分-总）
4. 连接词密度异常
5. 同义表达匮乏（"研究"出现 8 次）
6. 引用整合度低（每个引用都是"XX（2020）指出…"）
7. 数据论述模板化（"从表中可以看出"）
8. 过度列举（①②③④ 频繁出现）
9. 结论过于圆满（只说好不说局限）
10. 语气过于确定（"必然""毫无疑问"）

**学术改写策略：**

- **替换 AI 学术套话（保持学术性）：**
  - 本文旨在 → 本文尝试 / 本研究关注
  - 具有重要意义 → 值得关注 / 有一定参考价值
  - 研究表明 → 前人研究发现 / 已有文献显示 / 笔者观察到
  - 进行了深入分析 → 做了初步探讨 / 展开了讨论
  - 取得了显著成效 → 产生了一定效果 / 初见成效

- **减少被动句：**
  - 被广泛应用 → 得到较多运用 / 在多个领域有所应用
  - 被认为是 → 通常被看作 / 一般认为

- **注入学术犹豫语（hedging）：**
  在过于绝对的判断前加"可能""在一定程度上""就目前而言""初步来看"

- **增强作者主体性：**
  - 研究表明 → 笔者认为 / 本研究发现
  - 可以认为 → 笔者倾向于认为

- **补充局限性：**
  如果结论段没有提到局限，补一句"当然，本研究也存在一定局限…"

- **打破结构均匀度：**
  调整段落长度，避免每段都一样。合并过短的段落，拆分过长的。

### 第四步：验证

改写完成后，用 CLI 工具验证效果：

```bash
./humanize detect output.txt -s
```

目标（基于 v3.0 的强化检测器）：
- 通用文本降到 50 分以下（MEDIUM 区间）
- 学术论文降到 40 分以下（学术专用），通用评分降到 35 分以下
- 真实 ChatGPT 输出 baseline 通常已在 5-25 分，改写后能降 3-10 分就算成功
- 刻板化 AI 样板文（论文模板/八股）可以看到 50+ 分降幅

注：v3.0 detect_cn 加了句长 CV + 短句占比 + 逗号密度三个强指标，相同文本的分数会比 v2.x 略高（更准确），这是正常现象。

---

## 配置说明

所有检测模式和替换规则在 `scripts/patterns_cn.json`，可自定义：
- 添加新 AI 词汇
- 调整权重
- 增加替换规则
- 修改正则匹配

## 外部配置字段

```
critical_patterns    — 高权重检测（三段式、连接词、空洞词）
high_signal_patterns — 中权重检测（AI 高频词、模板句）
replacements         — 替换词库（正则 + 纯文本）
academic_patterns    — 学术专用检测与替换
scoring              — 权重和阈值配置
```

登录后下载/点赞/收藏 ❤ 235 | ★ 0

humanize-chinese

目录结构

SKILL.md

举报内容

提示