# Ling3-SingProbe

<p align="center"><a href="https://huggingface.co/inclusionAI/Ling-3.0-flash-singprobe/blob/main/README.md">English</a> | <b>中文</b></p>

## 模型简介

SingProbe 是基于 `inclusionAI/Ling-3.0-flash` 构建的**内生式流式安全护栏**。它不需要额外运行一个安全模型，而是复用基座模型生成时已计算的隐藏状态，在每个 token 上同时评估**用户意图**、**响应不安全风险**和**幻觉风险**；Decode 阶段额外开销小于 0.5%。

| 基座模型 | 探测头参数量 | 采样层 | 输出 |
| --- | ---: | --- | --- |
| `inclusionAI/Ling-3.0-flash-singprobe` | 5.18M | `[13, 26, 40]` | 8 类意图 + 不安全 + 幻觉 |

方法与完整实验结果见[技术报告](https://arxiv.org/abs/2608.30703)，实现代码见 [inclusionAI/SingProbe](https://github.com/inclusionAI/SingProbe)。

## 核心评测结果

所有指标均为越高越好；结果为下述 benchmark 集的平均值。

| 任务 | 指标 | Ling-3.0-flash-singprobe | 参考基线 |
| --- | --- | ---: | ---: |
| 用户意图分类（6 个 benchmark） | F1 | **0.8674** | YuFeng-XGuard-Reason-8B：0.8714 |
| 响应安全分类（8 个 benchmark） | F1 | **0.8728** | Qwen3Guard-Gen-8B-strict：0.8604 |
| 流式安全检测（3 个 benchmark） | R-AUC / T-AUC | **0.9887 / 0.9481** | Qwen3Guard-Stream-8B-strict：0.9640 / 0.8893 |
| 幻觉检测（6 个 benchmark） | AUC | **0.8012** | DRIFT：0.8000 |

| 部署特性 | 结果 |
| --- | --- |
| 良性响应误报率 | 5 个数据集平均 0.03% |
| 在线自由生成 | leave-one-out 协议下 Accuracy 0.9641 / F1 0.6452 |
| Decode 开销 | < 0.5% |

## Quick Start

SingProbe 仅支持通过 [SGLang 集成分支](https://github.com/jinzhen-lin/sglang/tree/token-probe-ling3-flash-main) 或 [vLLM 集成分支](https://github.com/jinzhen-lin/vllm/tree/bailing-v3-token-probe) 使用。启动服务时通过 Hugging Face ID 加载探测头：

```bash
python -m sglang.launch_server \
  --model-path inclusionAI/Ling-3.0-flash \
  --probe-ckpt inclusionAI/Ling-3.0-flash-singprobe \
  --port 30000
```

集成会为每个生成 token 返回一份分数字典（`label_0`–`label_9`），目前仅支持 Ling-3.0 的 `BailingMoeV3ForCausalLM`。请严格匹配基座模型与探测头：本检查点仅用于 `inclusionAI/Ling-3.0-flash`。

## Citation

```bibtex
@article{singteam2026singprobe,
  title = {SingProbe Technical Report},
  author = {Sing Team},
  journal = {arXiv preprint arXiv:2608.30703},
  year = {2026},
}
```