ImBD：专门设计用于识别经过大型语言模型修订的文本

ImBD简介

ImBD（Imitate Before Detect）是由复旦大学、华南理工大学、武汉大学、加州大学圣地亚哥分校等机构的研究人员共同开发的一种先进文本检测技术。该方法专门设计用于识别经过大型语言模型（LLMs）修订的文本，通过模仿机器的风格偏好并计算文本的风格条件概率曲率，有效区分人类写作和机器修订的内容。ImBD在多个场景和语言领域展现出卓越的检测性能，相比现有技术，它能更准确地识别出由LLMs辅助生成的文本。

ImBD主要功能

1. 机器修订文本检测：ImBD能够识别出经过大型语言模型（LLMs）修订的文本，包括重写、扩展和润色等类型的文本修改。
2. 风格偏好模仿：通过风格偏好优化（SPO），ImBD模仿机器的风格偏好，以便更准确地检测出机器修订的文本。
3. 概率曲率量化：利用风格条件概率曲率（Style-CPC）量化原始文本与条件采样文本之间的对数概率差异，以区分人类写作和机器修订文本。
4. 跨领域和模型的适用性：ImBD在多个文本领域和不同的LLMs上进行测试，显示出广泛的适用性和稳健性。

ImBD技术原理

1. 风格偏好优化（SPO）：
   • 对齐评分LLM模型以偏好机器生成文本的风格。
   • 使用具有相同内容的文本对（一个由人类编写，一个由机器修订）来调整模型的标记分布，使其偏向机器写作风格。
2. 风格条件概率曲率（Style-CPC）：
   • 计算原始文本和通过条件概率采样产生的替代版本的对数概率差异。
   • 使用调整后的评分模型来量化这种差异，从而区分人类和机器修订的文本。
3. 二元分类任务：
   • 将文本检测问题形式化为二元分类任务，即判断给定文本是机器修订（xm）还是人类编写（xh）。
4. 概率分布分析：
   • 分析文本中标记的概率分布，利用机器生成文本和人类写作文本在概率分布上的差异进行检测。
5. 偏好学习：
   • 通过奖励学习框架，优化模型以表现出对机器修订文本的更强偏好。
6. 条件概率采样：
   • 从调整后的评分模型中采样每个标记，生成替代文本，用于计算风格条件概率曲率。

ImBD应用场景

1. 学术诚信：检测学术论文中是否使用了LLMs进行不当的文本生成或修订，以维护学术诚信和研究质量。
2. 内容验证：在新闻和媒体行业，用于验证报道内容是否为人类记者编写，还是由自动化工具生成，确保信息的真实性。
3. 考试评估：在教育领域，用于检测学生提交的考试答案或论文是否涉及机器辅助作弊。
4. 版权保护：帮助内容创作者和版权持有者识别和维权，防止机器生成的内容侵犯原创版权。
5. 社交媒体监控：在社交平台上监测由机器人或自动化脚本生成的内容，以减少虚假信息和垃圾邮件的传播。
6. 企业通信：确保企业对外发布的声明和通信材料是由人类撰写，以保持品牌声音的真实性和人性化。

ImBD项目入口

• 项目主页：https://machine-text-detection.github.io/ImBD
• GitHub代码库：https://github.com/Jiaqi-Chen-00/ImBD
• arXiv技术论文：https://arxiv.org/pdf/2412.10432
• 在线体验：https://ai-detector.fenz.ai/ai-detector