10 · 标注一致性怎么量

   同意率（两人标得一样的比例）
     Po = (883 + 17) / 1000 = 0.900        ← 90%！验收报告写得很好看

   但先看两个人各自标了多少条"投诉"：
     A 标了 67 条    B 标了 67 条
     ⭐ 而两人【同时】认为是投诉的，只有 17 条

   也就是说：一共 117 条被至少一个人认为是投诉，
   两人达成共识的只有 17 条 —— 共识率 14.5%

   Pe = P(两人都随机标非投诉) + P(两人都随机标投诉)
      = 0.933 × 0.933 + 0.067 × 0.067
      = 0.870489 + 0.004489
      = 0.874978          ⭐ 乱按都能有 87.5% 的同意率！

   Cohen's Kappa = (Po − Pe) / (1 − Pe)
                 = (0.900 − 0.874978) / (1 − 0.874978)
                 = 0.025022 / 0.125022
                 = 0.2001              💀

import numpy as np

def cohen_kappa_2x2(a, b, c, d):
    """a=两人都标负, b=A负B正, c=A正B负, d=两人都标正"""
    n = a + b + c + d
    po = (a + d) / n
    p1 = (a + b) / n          # A 标负类的边际比例
    p2 = (a + c) / n          # B 标负类的边际比例
    pe = p1 * p2 + (1 - p1) * (1 - p2)          # ⭐ 偶然一致率
    kappa = (po - pe) / (1 - pe)
    return {"同意率Po": round(po, 4), "偶然一致Pe": round(pe, 6),
            "Kappa": round(kappa, 4),
            # ⭐ 不平衡数据必须同时看正类专属一致率，它才反映真实水平
            "正类专属一致率": round(2 * d / (2 * d + b + c), 4),
            "负类专属一致率": round(2 * a / (2 * a + b + c), 4)}

print(cohen_kappa_2x2(883, 50, 50, 17))
# {'同意率Po': 0.9, '偶然一致Pe': 0.874978, 'Kappa': 0.2001,
#  '正类专属一致率': 0.2537, '负类专属一致率': 0.9464}

# 用 sklearn 交叉验证同一个数字
from sklearn.metrics import cohen_kappa_score
y1 = np.array([0] * 883 + [0] * 50 + [1] * 50 + [1] * 17)
y2 = np.array([0] * 883 + [1] * 50 + [0] * 50 + [1] * 17)
print(round(float(cohen_kappa_score(y1, y2)), 4))     # 0.2001  ⭐ 完全一致

   怎么选：三个问题就够
   ───────────────────────────────────────────────
   标签是有序的吗（分数 / 等级 / 严重度）？
     └─ 是 → 加权 Kappa（二次权重）或 Krippendorff α(ordinal)

   每条样本的标注人数一样吗？有没有缺失？
     ├─ 不一样 / 有缺失 → Krippendorff's α   ⭐ 别硬凑成 Fleiss
     └─ 一样，且恰好 2 人 → Cohen's Kappa
        一样，多于 2 人   → Fleiss' Kappa

   ⚠️ 常见错误：多人场景下两两算 Cohen 再取平均
      —— 这不等于 Fleiss，在人数不齐时会系统性偏高

import numpy as np
from collections import Counter
from sklearn.metrics import cohen_kappa_score

def fleiss_kappa(mat):
    """mat: N×k 矩阵，mat[i][j] = 第 i 条样本被标成第 j 类的人数
       ⚠️ 要求每行人数相同"""
    mat = np.asarray(mat, float)
    N, _ = mat.shape
    n_r = mat.sum(1)[0]                                  # 每条样本的评分人数
    p_j = mat.sum(0) / (N * n_r)                         # 各类别的整体占比
    P_i = (np.square(mat).sum(1) - n_r) / (n_r * (n_r - 1))
    P_bar, P_e = P_i.mean(), np.square(p_j).sum()
    return (P_bar - P_e) / (1 - P_e)                     # ⭐ 和 Cohen 同一个公式骨架

def krippendorff_nominal(units):
    """units: [[标注1, 标注2, ...], ...]  ⭐ 允许每个单元人数不同、允许缺失"""
    units = [u for u in units if len(u) >= 2]
    n_total = sum(len(u) for u in units)
    Do = 0.0
    for u in units:
        m, cnt = len(u), Counter(u)
        Do += (m * (m - 1) - sum(v * (v - 1) for v in cnt.values())) / (m - 1)
    Do /= n_total
    allc = Counter(v for u in units for v in u)
    De = (n_total ** 2 - sum(v * v for v in allc.values())) / (n_total - 1) / n_total
    return 1 - Do / De                                   # ⭐ 观测分歧 / 期望分歧

M = [[5,0,0],[4,1,0],[5,0,0],[0,5,0],[1,4,0],[0,4,1],[0,0,5],[0,1,4],[5,0,0],[4,0,1],
     [0,5,0],[0,5,0],[0,0,5],[1,0,4],[5,0,0],[0,4,1],[0,0,5],[4,1,0],[0,5,0],[5,0,0]]
print(round(fleiss_kappa(M), 3))                                   # 0.757

U = [["a","a","a"],["a","a"],["b","b","b"],["b","a"],["c","c"],["c","c","c"],
     ["a","a","b"],["b","b"],["c","b"],["a","a","a"],["b","b","b"],["c","c"]]
print(round(krippendorff_nominal(U), 4))                           # 0.7071

rng = np.random.default_rng(3)                                     # 有序标签演示
t = rng.integers(1, 6, 400)
r1 = np.clip(t + rng.choice([-1, 0, 0, 0, 1], 400), 1, 5)
r2 = np.clip(t + rng.choice([-1, 0, 0, 0, 1], 400), 1, 5)
for w in (None, "linear", "quadratic"):
    print(w, round(float(cohen_kappa_score(r1, r2, weights=w)), 4))
# None 0.3964 / linear 0.6747 / quadratic 0.851   ⭐ 有序标签必须加权

   两个标注员都把"含联系方式的好评"标成【普通评价】
     → Kappa = 1.00   完美一致
     → 但按指南，它们全都该是【广告】

   💀 一致性高只说明【指南被一致地理解了】，
      不说明【被正确地理解了】—— 集体误读的 Kappa 也是 1.0
   ⭐ 所以一致性（双标重叠）和正确性（黄金集）是两套独立的质检，
      第 9 章那三种手段，一个都不能省。

   整体同意率 = 0.7683      整体 Cohen's Kappa = 0.6477

   混淆矩阵（行 = A，列 = B）
                咨询   投诉   退款   其他
        咨询    282      0      0     51
        投诉      0     22     46      0
        退款      0     42     65      0
        其他      0      0      0     92

   按【类别对】拆解全部 139 条分歧：
     投诉 ↔ 退款    88 条   占全部分歧 63.3%   ⭐
     咨询 ↔ 其他    51 条   占全部分歧 36.7%
     其余 4 对       0 条   占全部分歧  0.0%

import numpy as np
from sklearn.metrics import cohen_kappa_score, confusion_matrix

def disagreement_profile(a, b, labels):
    """⭐ 一致性诊断的正确起点：不是总分，是按类别对拆解的分歧"""
    a, b = np.asarray(a), np.asarray(b)
    cm = confusion_matrix(a, b, labels=list(range(len(labels))))
    pairs = []
    for i in range(len(labels)):
        for j in range(i + 1, len(labels)):
            n = int(cm[i, j] + cm[j, i])
            if n:
                pairs.append((n, labels[i], labels[j]))
    pairs.sort(reverse=True)
    total = sum(p[0] for p in pairs) or 1
    return {"同意率": round(float((a == b).mean()), 4),
            "Kappa": round(float(cohen_kappa_score(a, b)), 4),
            "分歧总数": total,
            # ⭐ 只要 Top-2 类别对占了 >60% 的分歧，就先修这两对，别做全员培训
            "类别对": [(x, y, n, f"{n/total:.1%}") for n, x, y in pairs]}

def kappa_by_class(a, b, labels):
    """⚠️ 总体 Kappa 会把个别坏类别平均掉：逐类做 one-vs-rest"""
    a, b = np.asarray(a), np.asarray(b)
    return {labels[k]: round(float(cohen_kappa_score(a == k, b == k)), 4)
            for k in range(len(labels))}

   系统：短视频平台的「不适宜内容」自动审核模型
   评测集：8,000 条，⚠️ 单人标注（"为了省钱、也为了口径统一"）
          从来没有算过一致性 —— 团队认为"评测集不用算一致性"
   决策：候选模型 B  F1 = 0.812   现网模型 A  F1 = 0.774
        差 0.038，判定为显著提升 → 全量替换

   抽 1,200 条评测集样本，3 名资深审核员重标 + 1 名仲裁

     Fleiss' Kappa（全部类别）        0.38   💀
     「擦边内容」这一类的 Kappa       0.19   💀💀

     原评测集那位标注员判为违规的比例   11.2%
     三人仲裁后的违规比例               6.7%
     ⭐ 他系统性地比团队均值宽松了 4.5 个百分点

   而模型 B 恰好也倾向宽松 —— 因为它的训练数据也大量来自同一个人。
   ⭐⭐ 于是这场评测测的根本不是"哪个模型更准"，
        而是"哪个模型更像那位标注员"。

   用仲裁后的金标重新评测：
     模型 A  F1 = 0.781        模型 B  F1 = 0.729
     💀 结论完全翻转

   ① "评测集不用算一致性"是个流行的误解
      理由听起来很合理："一个人标口径最统一"
      💀 口径统一 ≠ 口径正确。一个人标 = 把一个人的偏好固化成了金标准 ⭐

   ② 0.038 的差距被当成了显著提升，没做任何区间估计
      实测：8,000 条评测集、正样本 546 条时，
      单个模型 F1 的 bootstrap 95% 区间半宽就有 ±0.027
      ⭐ 0.038 只比它略大 —— 这种量级的差距必须做配对显著性检验，不能直接拍板

   ③ 灰度期只看模型侧指标（拦截量、拦截率），没有看申诉率
      拦截量确实涨了，看起来像"新模型更能抓"
      💀 而误伤和抓得准，在拦截量这一个数字上长得一模一样

   全量运行 5 周后回滚

     误伤率（正常内容被下架）  0.31%  →  0.94%
     被误伤内容                4.1 万条
     创作者申诉                1.7 万件
     2 名头部创作者公开投诉

   直接成本：
     回滚 + 人工复审 4.1 万条              ≈ 21 万元
     重建评测集（3 人 × 3 周 + 外部标注）  ≈ 41 万元
     ⭐ 合计约 62 万元，新模型上线推迟 9 周