📑 本页目录(点开跳转)
数据增强与输入处理
Kaggle竞赛方法论 / 08
一句增强后的文本,原标签还成立吗?
先追问语义与标签是否保留,再查伪标签、截断、对抗验证与训练技巧的各自边界。
能区分增强假设和验证证据,定位当前来源检测器的独立评估限制。
⏱ 30 分钟 | 🎁 NLP 增强专题
🎯 一句话
文本增强比图像增强难得多——改一个字就可能改变语义,而图像翻转一下还是同一只猫。所以这一章的核心不是「有哪些增强方法」,而是怎么判断一个增强是不是保持了标签。判断错了,你是在往训练集里灌噪声。
一、文本数据增强方法
1.1 词级别增强
| 方法 |
原理 |
实现难度 |
效果 |
| 同义词替换 |
用同义词替换原文中的词汇 |
低 |
稳定提升 |
| 随机插入 |
在随机位置插入同义词 |
低 |
轻微提升 |
| 随机删除 |
以概率p删除每个词 |
低 |
轻微提升 |
| 随机交换 |
随机交换两个词的位置 |
低 |
轻微提升 |
| 实体替换 |
将实体替换为同类型其他实体 |
中 |
NER任务显著提升 |
1.2 句级别增强
| 方法 |
原理 |
实现难度 |
效果 |
| 回译增强 |
中文→英文→日文→中文 |
高 |
显著提升 |
| 上下文增强 |
用语言模型预测替换词 |
中 |
显著提升 |
| 文本片段交换 |
交换两个句子的片段 |
低 |
轻微提升 |
1.3 特征空间增强
| 方法 |
原理 |
实现难度 |
效果 |
| Mixup |
在Embedding空间做线性插值 |
低 |
正则化效果 |
| CutMix |
随机遮蔽部分Token |
低 |
正则化效果 |
| 对抗增强 |
FGM/PGD在Embedding上添加扰动 |
中 |
显著提升 |
1.4 增强策略选择
| 任务类型 |
推荐增强方法 |
不推荐方法 |
| 文本分类 |
同义词替换 + Mixup + 对抗增强 |
实体替换 |
| NER |
实体替换 + 同义词替换 + 回译 |
Mixup(标签对齐困难) |
| 关系抽取 |
实体替换 + 上下文增强 |
随机交换(破坏关系) |
二、半监督学习与伪标签
2.1 K折伪标签(降噪)
| 维度 |
说明 |
| 问题背景 |
医疗数据人工标注主观性强,存在大量漏标和错标 |
| 核心原则 |
伪标签应生成在允许使用的无标签数据上;训练标签、伪标签训练与验证评估要隔离。若用训练样本预测做堆叠特征,应使用折外预测,避免自身标签泄漏 |
| 实现方式 |
利用K折交叉验证,让模型仅在它未见过的验证集上生成预测结果 |
| 融合策略 |
融合多个模型生成的高质量伪标签来替代人工标签重新训练 |
| 本质作用 |
利用AI群体完成自动纠错和降噪 |
2.2 测试集伪标签(冲刺)
| 维度 |
说明 |
| 适用时机 |
模型开发到瓶颈时 |
| 实现方式 |
用高分模型对测试集预测,打上伪标签 |
| 置信度阈值 |
通常取0.9+,过低引入噪声 |
| 混合训练 |
高置信度伪标签样本与原训练集混合重新训练 |
| 核心优势 |
压榨最后一点分数 |
2.3 FixMatch半监督框架
| 维度 |
说明 |
| 核心思想 |
对同一无标签样本生成弱增强和强增强两个版本 |
| 一致性正则 |
若弱增强预测最大类别概率达到阈值,则用该伪标签监督强增强预测 |
| 优势 |
结合一致性约束利用无标签数据;仍需置信阈值筛选与验证 |
| 适用场景 |
有大量无标签数据时 |
先记住:弱增强预测只在置信度达到阈值 τ 时形成伪标签,再监督同一输入的强增强预测;阈值筛选不是正确性证明。
可跳过:筛选例子与评估边界
手设 τ=0.95:弱增强的最大类别概率为0.96时进入无标签一致性损失,0.80时不进入该项;原论文是“达到阈值”,并非无需阈值。0.96也可能是自信地错:先在训练内的独立标注验证切片检查校准、伪标签精度、接纳比例和类别分布,不能把τ当成保证准确率的数。阈值与损失权重由验证选择,不据最终测试标签调整。
弱/强增强都应保持任务标签语义;无标签来源、类别空间或分布与目标不符时,可能传播错误。增强、迁移、先验或合成样本是否有用,要在相同标注预算和切分下比较监督基线,观察独立切片质量;不承诺有更多无标签或合成数据就必提升。
只有规则明确允许时,才把竞赛测试输入用于伪标签或其他训练适配;这属于对该测试输入集合的传导式(transductive)使用。仍须另留未参与适配的数据评估泛化,不能将这份测试输入上的结果称为完全独立评估。谈实际用过哪些方法和收益时,另提供本人记录。
依据:FixMatch 原论文 §2 的一致性与置信筛选;官方自训练文档强调筛选准则与校准。这里的两项概率是教学数值,未运行训练。
三、基础文本预处理
3.1 清洗与标准化
| 步骤 |
说明 |
代码示例 |
| 去除HTML标签 |
清除爬虫数据中的HTML残留 |
re.sub(r'<[^>]+>', '', text) |
| 统一编码 |
全角→半角、繁体→简体 |
unicodedata.normalize |
| 去除特殊字符 |
保留字母、数字、中文 |
re.sub(r'[^\w\s]', '', text) |
| 空格规范化 |
多空格合并为单空格 |
re.sub(r'\s+', ' ', text) |
| URL替换 |
将URL替换为特殊标记 |
re.sub(r'http\S+', '[URL]', text) |
3.2 TF-IDF特征工程
| 维度 |
说明 |
| 核心思想 |
词频-逆文档频率,衡量词对文档的区分度 |
| TF(词频) |
词在文档中出现的频率 |
| IDF(逆文档频率) |
log(总文档数 / 包含该词的文档数) |
| 适用场景 |
传统ML模型(SVM、Logistic Regression)的特征输入 |
| 与深度学习互补 |
TF-IDF特征可与BERT向量拼接,提供词频先验信息 |
四、长文本截断策略
| 策略 |
说明 |
适用场景 |
| Head截断 |
保留前512个Token |
文本开头信息最关键 |
| Tail截断 |
保留后512个Token |
文本结尾信息最关键 |
| Head+Tail截断 |
前128 + 后384个Token |
兼顾首尾信息 |
| 滑动窗口 |
多次截取,结果融合 |
长文本信息均匀分布 |
| 动态截断 |
按实体位置截取 |
NER任务 |
| Longformer |
使用支持长文本的模型 |
超长文本 |
滑动窗口实现
1. 将长文本按步长切分为多个512 Token的窗口
2. 每个窗口独立预测
3. 重叠区域取平均或取最大值
4. 合并所有窗口的预测结果
五、多语言混合文本处理
| 维度 |
说明 |
| 问题背景 |
推文等社交媒体文本常混合多种语言和字符集 |
| 语言检测 |
使用langdetect或fasttext识别文本语言 |
| 多语言模型 |
使用XLM-RoBERTa等多语言预训练模型 |
| 翻译统一 |
将非目标语言翻译为目标语言后统一处理 |
| 字符集归一 |
统一全角/半角、繁体/简体 |
六、训练稳定性技巧(NLP专项)
6.1 梯度累加
| 维度 |
说明 |
| 问题背景 |
大型模型极大,普通显卡往往只能把Batch Size设为1 |
| 导致后果 |
Batch Size为1导致梯度更新方向剧烈震荡 |
| 解决方案 |
开启梯度累加模拟大Batch Size训练效果 |
| 配套措施 |
配合梯度截断防止累加梯度爆炸 |
6.2 动态填充
| 维度 |
说明 |
| 问题背景 |
固定长度填充(如统一填充到512)对短文本浪费计算 |
| 解决方案 |
使用DataCollatorWithPadding按batch内最长序列填充 |
| 效果 |
短文本训练加速约75% |
6.3 FP16混合精度
| 维度 |
说明 |
| 显存节省 |
显存占用减半 |
| 速度提升 |
训练速度提升约30%-50% |
| 必须配合 |
梯度截断防止梯度爆炸 |
| 实现 |
PyTorch的torch.cuda.amp自动混合精度 |
七、数据增强实战流程
1. 基线训练 → 确定数据管线无误
2. 简单增强 → 同义词替换(10%替换率)
3. 任务特定增强 → NER: 实体替换; 分类: Mixup
4. 半监督 → K折伪标签降噪
5. 对抗增强 → FGM/PGD
6. 测试集伪标签 → 高置信度样本混合训练
7. 后处理 → 规则修正
增强对照记录(待实测)
增强可能有正收益、零收益或负收益。缺少可追溯的同任务实验时,下表不填收益值,也不据此排列“最稳”的方法。仅在任务与竞赛规则允许的训练流程中使用增强;评估集和评估协议保持固定。
每行记录:任务与数据版本/划分、指标/方向/单位、未增强基线、方法与强度、随机种子与训练预算、每次结果及日志位置。用同任务、划分、指标和预算比较,并报告波动。
| 增强方法 |
单模型对照记录 |
融合对照记录 |
| 同义词替换 |
待实测 |
待实测 |
| 实体替换(NER) |
待实测 |
待实测 |
| 对抗训练 |
待实测 |
待实测 |
| 伪标签 |
待实测 |
待实测 |
| Mixup |
待实测 |
待实测 |
单模型列比较未增强与增强后的同一模型配置;融合列还须固定成员、权重和融合规则,单独记录融合基线与增强结果,不能直接搬用单模型增益。比例型指标以百分数展示时,差值注明百分点;相对变化另按非零基线计算并注明百分比。各次结果与波动须可追溯,表格不能代替个人实测记录。
八、EDA(Easy Data Augmentation)
| 维度 |
说明 |
| 核心方法 |
四种简单操作的组合:同义词替换、随机插入、随机交换、随机删除 |
| 同义词替换(SR) |
从句子中随机选n个非停用词,用同义词替换 |
| 随机插入(RI) |
随机选一个词的同义词,插入句子中随机位置 |
| 随机交换(RS) |
随机交换句子中两个词的位置 |
| 随机删除(RD) |
以概率p删除句子中的每个词 |
| alpha参数 |
控制增强强度,alpha=0.05表示每句改动约5%的词 |
| 优势 |
实现极简,无需外部模型,适合快速baseline |
九、UDA(Unsupervised Data Augmentation)
| 维度 |
说明 |
| 核心思想 |
对无标签数据做增强,要求模型对原始样本和增强样本的预测一致 |
| 与FixMatch区别 |
UDA使用更强的增强策略(TF操作+回译),FixMatch使用标准增强 |
| 增强策略 |
回译 + 基于TF的词替换(BERT预测替换) |
| 一致性损失 |
KL散度衡量原始预测与增强预测的差异 |
| 置信度阈值 |
仅对高置信度(>0.9)无标签样本计算一致性损失 |
| 适用场景 |
有大量无标签数据时,半监督学习效果显著 |
十、条件生成式增强
| 维度 |
说明 |
| 核心思想 |
用预训练语言模型(如GPT/T5)生成与原始样本语义相似但表述不同的新样本 |
| 实现方式 |
将原始文本作为Prompt输入生成模型,控制生成文本与原文的相似度 |
| T5改写 |
输入"paraphrase: {原始文本}",T5生成改写后的文本 |
| GPT生成 |
输入原始文本的前半段,GPT生成后半段 |
| 质量控制 |
用分类模型过滤生成质量差的样本,或用BLEU/语义相似度筛选 |
| 优势 |
生成多样性高,语义保持好 |
| 劣势 |
需要额外模型,生成速度慢,可能引入噪声 |
十一、对抗验证(Adversarial Validation)
| 维度 |
说明 |
| 核心思想 |
训练二分类器区分训练集和测试集,找出分布不一致的特征 |
| 实现方式 |
给训练集打标签0、测试集打标签1,训练LightGBM分类器 |
| AUC解读 |
AUC接近0.5说明分布一致;AUC>0.7说明分布差异大 |
| 特征重要性 |
分类器给出的特征重要性即为训练/测试分布差异最大的特征 |
| 应用一 |
删除分布差异大的特征,减少协变量偏移 |
| 应用二 |
用分类器预测的概率作为采样权重,让训练集中与测试集相似的样本权重更高 |
| 竞赛价值 |
解决线下CV与线上LB不一致的核心方法 |
十二、对抗训练在NLP中的应用
FGM(Fast Gradient Method)
| 维度 |
说明 |
| 核心思想 |
在Embedding层添加对抗扰动,提高模型鲁棒性 |
| 实现步骤 |
正常前向→计算Loss→反向传播→在Embedding上添加扰动→再次前向→计算对抗Loss→反向传播更新参数 |
| 扰动计算 |
r = epsilon * grad / |
| Attack Ratio |
每个batch中参与对抗训练的样本比例,0.5兼顾速度和效果 |
| 效果 |
NLP任务中通常提升0.3~0.8个百分点 |
PGD(Projected Gradient Descent)
| 维度 |
说明 |
| 与FGM区别 |
FGM单步攻击,PGD多步攻击(K步) |
| 实现 |
每步在FGM基础上迭代,K通常3~5步 |
| 效果 |
比FGM更强但训练速度更慢(约K倍) |
| 竞赛建议 |
FGM性价比最高,PGD在冲刺阶段使用 |
🔗 这一章连到哪里
✅ 检查点
- 为什么文本增强比图像增强难?判断一个增强能不能用的标准是什么?
- EDA(Easy Data Augmentation)包含哪几种操作?它的适用边界在哪?
- 回译(Back Translation)的优点和代价分别是什么?
- UDA 的核心思想是什么?它和普通的数据增强有什么不同?
- 什么是对抗验证(Adversarial Validation)?它能诊断什么问题?
👀 答案
- 因为文本的语义对局部改动极其敏感——「不好看」改一个字变成「好看」,标签直接反了;而图像翻转后还是同一只猫。判断标准:增强之后,一个人类标注者会不会改变他的标签?会 → 别用。⚠️ 情感分析里的否定词、NER 里的实体边界、QA 里的答案位置,都是高危区。
- 同义词替换、随机插入、随机交换、随机删除四种。适用边界:句子级分类任务、且改动比例很小(通常 <10%)时有效;在需要精确结构的任务上(NER、抽取、QA)基本不能用——它会破坏实体和位置。
- 优点:语义保持得最好(翻译系统本身就在做语义保持),产出的句子自然、多样。代价:①慢且需要调用翻译服务/模型 ②会丢失细节和专有名词 ③对短文本效果有限(译回来往往一模一样)。
- 在无标注数据上,要求模型对「原文」和「增强后的文本」给出一致的预测。和普通增强的不同:普通增强是在有标注数据上扩样本,UDA 是用无标注数据做一致性正则——它让你能利用测试集和其他无标注语料,是半监督的一种。
- 训练一个分类器去区分「这条样本来自训练集还是测试集」。如果它能分开(AUC 明显 > 0.5),说明训练集和测试集分布不同。能诊断:分布漂移、需不需要做样本加权、以及哪些特征是造成分布差异的元凶(看特征重要性)——那些特征往往就是不该用或该做变换的。
本节回顾
先记住这几件事
- 文本增强先检查标签是否仍成立,尤其留意否定、实体与答案位置。
- 一致性学习和普通数据增强不是同一件事,使用无标注数据也要遵守规则。
- 对抗验证帮助发现训练测试分布差异,再回到具体特征查原因。
打卡记录保存在你的浏览器里,首页能看到总进度