中文垃圾邮件分类数据集简介
本数据集是针对电子邮件分类任务构建的规范化中文语料库,旨在为垃圾邮件检测模型的训练与评估提供多维度特征支持。其核心特点如下:
1. 数据集概述
- 规模与结构:共包含3980个规范化JSON文件,每个文件独立存储一封邮件的完整信息,并按垃圾邮件(spam)与正常邮件(normal)两类进行标注,形成二元分类基础。
- 数据来源:邮件内容覆盖商业推广、虚假中奖通知、金融诈骗、日常通信等典型场景,贴近中文用户真实邮箱环境。
- 标注质量:所有邮件均经过人工或自动化验证,确保类别标签的准确性,可直接用于监督学习任务。
2. 数据组成与特征
每封邮件的JSON结构包含以下关键字段,支持从语义、统计、时间等多角度进行特征分析:
a. 核心字段
- 邮件主题(subject):反映邮件意图的短文本,垃圾邮件常含“免费领取”“限时特惠”“账户异常”等诱导性词汇。
- 邮件正文(body):长文本内容,垃圾邮件多含重复促销信息、嵌入超链接或诱导用户点击的互动话术。
- 发件时间(date):精确到分钟的时间戳,可用于分析垃圾邮件的发送时段规律(如深夜或节假日高发)。
- 邮件头信息(header):包含发件服务器IP、传输路径等技术信息,辅助识别伪造发件地址或可疑邮件源。
b. 结构化特征字段
- 文本特征(text_features):基于分词与词频提取的关键词(如“中奖”“投资机会”“VIP特权”)及高频词组,凸显垃圾邮件的语义倾向。
- 结构特征(structure_features):统计邮件长度、段落数、链接/图片数量等,垃圾邮件普遍存在长文本、多链接(如广告跳转URL)的特点。
- 特殊字符特征(special_character_features):检测异常符号(如❗、$$、###)及HTML标签密度,垃圾邮件常通过视觉冲击性符号吸引注意。
3. 应用场景
- 分类模型开发:适用于训练朴素贝叶斯、SVM、深度学习(如LSTM、Transformer)等分类算法。
- 特征工程研究:通过对比文本、结构与符号特征的组合效果,优化特征选择策略。
- 发送行为分析:结合时间字段,挖掘垃圾邮件发送者的时间分布规律与潜在攻击模式。
4. 数据集优势
- 多维特征融合:同时包含原始文本与结构化特征,避免单一模态的分析局限性。
- 真实性高:邮件内容涵盖仿冒通知、钓鱼链接等复杂类型,模拟真实对抗场景。
- 可扩展性强:支持与外部词库(如敏感词库、黑名单域名)结合,增强模型泛化能力。
5. 潜在挑战与建议
- 类别平衡性:需检查垃圾邮件与正常邮件的比例,必要时通过过采样或数据增强优化分布。
- 隐私合规性:邮件内容已脱敏处理,实际应用中需注意避免引入用户个人信息。
- 动态对抗:需定期更新数据集以应对新型垃圾邮件话术演变(如当前流行的AI生成内容)。
本数据集可作为学术研究与工业界开发的基础资源,为中文自然语言处理、网络安全等领域提供标准化评测基准。