数据工程：三方与二方数据建设

风控决策架构讲了决策引擎怎么消费特征，这篇讲特征的原料从哪来。授信/定价/额度的决策本质是一个数据函数：决策 = f(几十上百个数据项)。数据工程的全部工作就是把它们"接得进来、治理得动、用得合规、花得起钱"。业务全景见信贷业务全景与领域模型。

为什么信贷离不开数据工程

无抵押的信用贷款，唯一的"抵押物"就是数据。样本银行A做小微贷款的"310"模式：3 分钟申请、1 秒放款、0 人工干预。它的本质是用数据画像替代人工尽调。传统一笔小微贷款尽调要几天。搬到线上之后，替代客户经理上门的那个人就是数据体系。

拆开看一次授信决策要拉的数据项：

身份核验:   姓名/身份证/手机号/银行卡 四要素一致性、活体识别
人行征信:   账户数、余额、当前/历史逾期、近 N 月查询次数……(一份报告几百字段)
多头借贷:   近 7/30/90/180 天在多少家机构申请过、放款过
运营商:     在网时长、在网状态、三要素是否一致
行为数据:   App 操作序列、页面停留、输入修改次数(欺诈信号)
企业数据:   工商注册、行政处罚、司法涉诉、税务、店铺经营流水
设备指纹:   设备关联账户数、是否模拟器/root、IP 异地
反欺诈名单: 欺诈账户、羊毛党、中介包装

粗算 100~300 个数据项，分属二方（自己采集）与三方（外部采购）。由此带来四件工程难题：

• 接入：几十家供应商，协议/密钥/计费各不相同；
• 加工：原始报文到入模变量；
• 合规：金融是个人数据约束最重的行业；
• 质量与成本：三方按次真金白银计费。一笔授信的数据成本几元到几十元，日百万笔就是每天千万级账单。

二方数据 vs 三方数据

维度	二方数据（集团/本行内部）	三方数据（外部采购）
典型内容	账户、交易流水、还款行为、App 行为、内部评分	征信、多头、运营商、工商、司法、设备指纹、黑名单
获取方式	内部埋点/系统直采，边际成本≈0	商务签约 + API/文件接入，按次/订阅付费
口径控制	自己定义，变更走内部审批	供应商可能悄悄改口径，质量不完全可控
时效	行为流实时、数仓 T+1	实时 API 或 T+1 推送
主要风险	集团内数据滥用（合规问题）	断供、涨价、合规责任转嫁、质量劣化

二方数据：不是免费，是换了一种成本

• 二方的钱花在采集与治理上：埋点规范、行为流水线、数仓分层，一次建设长期复用，查询本身不花钱。这决定了二方数据可以"宽进宽用"，三方数据必须"按需查"；
• 授权与隔离是前提：集团内数据进金融场景，同样要用户明示授权，且"数据不出域"。集团体系内主体之间也要持牌通道与授权链路（见下文断直连），不是"一个集团随便用"；
• 二方数据的独特价值是独家性。收单流水刻画小微商户真实经营、支付行为刻画稳定性，别人拿不到。这是样本银行A贷风控的护城河。

三方数据：八类数据、三种计费

数据类别	典型内容	典型用途	计费模式
人行征信	个人信用报告：账户/逾期/查询记录	贷前核心变量、共债评估	按次（量大有阶梯折扣）
百行/朴道	互联网信贷履约（消金/小贷覆盖广）	补央行征信盲区	按次
多头借贷	近 N 天申请/放款机构数	反欺诈硬规则、共债识别	按次（部分命中才计费）
运营商	三要素核验、在网时长/状态	身份核验、稳定性	按次
工商	注册信息、股东、行政处罚、经营异常	小微企业主准入、企业额度	包年订阅 + 按次
司法	失信、被执行、涉诉	准入红线、贷后调额	包年订阅居多
设备指纹	设备 ID、关联账户数、模拟器/root	反欺诈、团伙识别	按次/按活跃设备
反欺诈黑名单	欺诈账户、羊毛党、中介	硬拒绝	命中计费或包年

计费归纳为三种：

• 按次：查一次付一次，弹性大、量大贵；
• 命中计费：查了没命中不付钱，天然对赌数据有效性；
• 包年订阅：用量稳定后签，把单次成本打下来。

同一家供应商往往三档并存。数据工程团队要和商务一起算哪个档位最划算（见下文成本优化）。

数据接入架构：统一接入网关

几十家供应商绝不允许业务系统各自直连。密钥散落、协议各异、计费没法对账、换供应商要改一堆业务代码。所有三方数据进企业只走一道门：

 决策链路(风控篇)                统一接入网关                        供应商
┌────────────┐   统一API  ┌─────────────────────────────┐   路由  ┌─────────────────┐
│ 风控编排     │ ─────────▶│ ① 请求去重: 同一决策同一数据只查一次 │ ─────▶ │ L1 人行征信(主+备) │
│ 规则/模型    │           │ ② 协议适配: HTTP/文件/专线/加密方式  │        │ L2 多头/运营商     │
└────────────┘           │ ③ 密钥管理: 证书轮换/加密机/最小可见  │        │ L3 司法/黑名单     │
                         │ ④ 计费埋点: 每次调用记账,月度对账     │        └─────────────────┘
                         │ ⑤ 超时与降级: 按源分级,预案自动执行    │
                         │ ⑥ 缓存: TTL 按数据新鲜度分级         │
                         └─────────────────────────────┘

• 请求去重：一次授信决策里，反欺诈规则要查多头、模型特征也要查多头。网关以"决策流水号 + 数据源"为幂等键合并并发请求，一次决策、一次三方查询、一次计费。缺了这层，一次决策重复查 3 遍征信，成本翻 3 倍还拖垮延迟预算；
• 计费埋点：网关是三方账单与内部成本分摊（按业务线/产品）的唯一记账点，月度与供应商账单对账。"没调用的计费""重复计费"全靠这里的明细发现。对账方法论与幂等与对账-资金安全底座同构：明细对明细、差异必归因；
• 超时与降级：每个数据源声明超时阈值与降级动作（跳过/用缓存旧值/短路），网关自动执行。不把故障抛给决策链路现场反应（分级细节见追问链 Q1）；
• 缓存：TTL 按数据新鲜度分级——司法缓存 24h、多头缓存数天、征信在报告有效期内可复用。命中缓存不计费，是成本优化的最大杠杆。

网关管"进"；另一头"出"——按资方风控要求的数据回传与报送，在清结算与资方对接的资方边界上。

供应商 SLA 分级与主备双源

分级	定义	典型源	故障策略
L1 决策必需	缺了它授信无法完成	人行征信、身份核验	主备双源，都挂则 fail-close
L2 重要	显著影响风险区分能力	多头、运营商	备源顶上或特征缺失走保守策略
L3 增强	边际增益，性价比说不过就砍	司法、部分黑名单	直接降级跳过

• 主备双源：L1/L2 签约两家，征信走主备两条通道。平时主源跑、备源小比例流量双跑比对（校验两源一致性）。主源故障自动切流——切流只是网关路由表的一行配置，业务无感；
• 换源不改业务：网关对外只暴露数据能力（如 query_multihead），业务不感知背后是哪家供应商。换供应商、涨价改签，都收敛在网关内部。

从原始数据到决策特征

 L1 原始报文层               L2 标准化宽表              L3 特征/变量层
┌────────────────┐  解析/映射 ┌──────────────┐  派生/聚合 ┌────────────────┐
│ 征信报文(XML)    │ ────────▶ │ 用户征信宽表    │ ────────▶ │ 近6月征信查询次数 │
│ 多头接口原始应答  │  统一编码  │ 多头指标表      │  窗口/比率  │ 历史最大逾期期数  │
│ 运营商应答/文件   │  统一ID   │ 核验结果表      │  分箱/归一  │ 多头机构数等级    │
│ (原样落存,不可变) │           │ (可回溯到报文)  │           │ (入模+原因码)     │
└────────────────┘           └──────────────┘           └───────┬────────┘
   审计/重算/监管检查的唯一事实源                                     ▼
                                          特征平台(点查/圈选/穿透, 见风控决策架构)

• L1 原样落存不可变：报文原文（含接口版本号）永久留存。监管检查问"这笔拒绝依据哪份数据"。供应商改口径后要重算历史变量。模型回溯要还原当时的输入。这三类场景全靠它。它和账务凭证（账务系统设计-复式记账与日切）同级严肃。账务是资金的事实源，L1 是决策输入的事实源；
• L2 标准化：解析报文、字段映射、统一编码（地区码/币种/日期）与身份 ID 打通。价值是"一处解析、处处使用"——同一份征信报文同时喂授信、贷后、催收，而不是每条业务线各解析一遍；
• L3 特征/变量：在宽表上做窗口聚合、比率、分箱。产出入模变量与规则阈值变量，注册进变量工厂，由特征平台统一供数。

变量工厂：定义、版本、口径变更审批

变量的定义本身就是资产：近6月征信查询次数 = count(查询记录 where 距今 ≤ 183 天)。变量工厂管三件事：

• 注册与定义：每个变量有唯一编码、口径公式、负责人、上游依赖。策略分析师按目录检索复用，而不是各写各的"近半年查询次数"。口径差一天，线上线下就对不上；
• 版本化：口径变更新开版本（v1/v2 并存），老模型引用老版本不被迫升级。版本号写进决策快照，任何历史决策都能按当时口径重放；
• 口径变更审批：改口径不是改一行 SQL 发版了事。要评估影响面（哪些模型/规则引用了它）、双版本双算比对、下游模型做 PSI 检验。三方供应商悄悄改字段属于被动口径变更，靠质量监控的分布突变告警兜住（见下文）。

线上线下一致性：与特征平台同一条防线

离线训练（数仓 T+1 回溯）与在线服务（实时计算）必须逐值相等，否则"离线评估很好、上线效果崩掉"。手段是特征双写 + 定期比对，展开在风控决策架构的特征平台一节。数据工程篇的职责是供给口径统一的 L2/L3 产物，一致性防线跨两篇是同一件事。

数据合规：红线比功能更重要

金融业同时踩在个人信息保护法（PIPL）与《征信业管理条例》《征信业务管理办法》的约束重心上。这里的每一步设计都要先过"能不能做"，再谈"怎么做"。

授权链路、断直连与最小必要

用户 ──(签署授权协议, 原文+版本哈希存证)──▶ 业务系统
                                            │ 只申请"最小必要"字段清单
                                            ▼
                              持牌征信机构(人行/百行/朴道)
                                            │ 转接(全程留痕可审计)
                                            ▼
                                         数据源方

• 授权是前提：查征信前必须取得用户明示授权，授权书原文与版本哈希存证（监管检查要出示）。敏感信息处理还要单独同意。授权可撤回，撤回即停用；
• 断直连：监管要求平台类机构的个人信息向金融机构输出必须经持牌征信机构转接。即"平台 → 持牌征信 → 金融机构"，禁止直连。这是A系生态视角下数据架构的分水岭：数据对金融机构的输出要按持牌通道重构。接入网关的协议适配层为此专门有一类"持牌转接"适配器；
• 最小必要：风控只需要"在网时长"就不能顺手拉通信记录。字段清单要能对每一条给出"哪个决策环节必需"的解释。采集时必要、现在不再必要的存量数据要评估删除或脱敏。

爬虫红线与分级分类脱敏

• 爬虫是刑事红线：未经授权爬取个人数据（通讯录、社交关系）可能构成侵犯公民个人信息罪。多家大数据公司因此被追责。供应商尽调必查数据来源合法性，来源说不清的数据再有效也不用；
• 分级分类：按敏感度分级（身份证明类强敏感 / 履约明细类敏感 / 聚合统计类一般）。不同级别对应不同的存储与访问策略；
• 脱敏存储与最小可见：身份证/手机号加密存储（密钥在加密机）。展示脱敏（前 3 后 4）。明细查询走审批与水印留痕。防的主要是内部泄露，金融数据泄露的事故成本远高于建设成本。

数据质量与成本

质量监控：新鲜度、覆盖率、缺失率、突变

指标	看什么	告警典型场景
新鲜度	T+1 批次/推送是否按时到位	延迟超 SLA，下游批量改跑重算
覆盖率	查询返回有效数据的比例	覆盖率跌 10 个点——上游改版或字段缺失
缺失率	关键字段缺失比例	某字段缺失率 2% 突增到 40%，供应商改了报文
分布突变	均值/分位数/PSI 漂移	口径被动变更的第一信号，联动变量工厂影响面评估

质量问题的杀伤在于静默。供应商改口径不会通知你，模型吃了几周坏数据才发现。期间所有决策的输入都是错的。突变告警不是运维告警，是风控资产保全告警。

三方数据成本优化

• 缓存命中率：网关缓存命中不计费。授信后的首笔支用复用授信时查的征信与多头（在报告有效期内）。命中率每提升 10 个点，对应账单直接省 10%；
• 查询时机后置 = 决策顺序即成本设计：便宜的核验/名单先查，前置规则拒绝的用户不再查贵的征信。规则顺序在风控编排层（见风控决策架构）。但成本视角要求数据工程参与策略评审——"这条规则能不能往前挪一位"。每次省的是真金白银；
• 按次转包年：用量稳定后谈包年/阶梯价。谈判筹码全部来自网关计费埋点的明细——没有明细就没有议价能力；
• 降级停用评估：L3 增强类数据定期做"增量价值 vs 成本"复盘（方法见追问链 Q2）。停用必须走策略影响面评估——某个变量被模型引用，停的是数据源，动的是模型。

业界实践参照（样本银行A vs 样本银行B）

样本银行A是本文"二方数据极致"与"另类数据"的最佳公开样本，四个映射：

本文概念	样本银行A对应实践	事实要点	可信度
二方数据的极致（独家性）	某头部支付生态数据	生意卡依托支付宝生态做支付结算与资金归集（1000 万+ 商户、年支付 5 亿+ 笔）——码商收单/经营流水是其风控独家特征来源	[媒体]
另类数据的代表作	大山雀（卫星遥感）	遥感影像+深度学习，融合气候/地理/行业景气建模，准确率 93%+，累计服务约 180 万农户	[媒体]
数据团队的形态	智能引擎-经营分析平台团队	全行业务数据分析：消费资产管理/数据计算/数据分析/大模型工程——数据/BI + LLM 工程复合团队	[JD推断]
断直连的银行侧落地	处于"金融机构接收端"	平台侧数据按断直连要求经持牌征信转接后才能进入其风控（政策框架见本文合规节）	政策落地解读

三点观察：

• 大山雀是"第四类数据"：既非二方内部采集，也非三方采购。而是自建另类数据源——卫星影像自采自加工。成本结构更像二方（一次建设长期复用），护城河比采购数据深一档；
• 二方的极致仍要过授权与隔离：某头部支付生态数据进银行风控，同样要走用户授权与持牌通道。"一个集团随便用"不成立。这正是本文二方数据节"授权与隔离是前提"的A系生态落地；
• 智能引擎-经营分析平台团队的存在说明数据工程的终点不止供特征。经营分析/BI 与大模型工程同在一个团队，数据资产同时喂决策特征与管理决策。

样本银行B： 与样本银行A"支付宝生态二方数据"对照。样本银行B给出二方数据的另一种基因，以及数据合规协作的另一条技术路线：

本文概念	样本银行B对应实践	事实要点	可信度
二方数据的基因	腾讯社交/流量生态	数据基因为社交/流量（微信/QQ 入口）——独家性更多在"入口与触达"（白名单圈选能力）而非交易流水；社交数据直接入模的合规约束更重	[媒体]/架构解读
企业数据密度	微业贷 30+ 数据源	工商/税务/征信/交易/物流等 30+ 数据源衍生数千参数——政务/税务数据是其企业风控重心，对照样本银行A的经营流水/遥感路线	[官方]
合规协作的技术路线	FATE 联邦学习 + WeDPR 隐私计算	2019 开源 FATE（全球首个工业级联邦学习框架，杨强 2018 任银行业唯一 CAIO）；WeDPR 等隐私计算开源，全行累计开源 38 项——"数据可用不可见"	[官方]/[媒体]

两点观察：

• 断直连与联邦学习是互补而非竞争的两条路线。断直连重构数据的合法流动通道（平台 → 持牌征信 → 金融机构）。联邦学习让"数据不动模型动"：各方原始数据不出域，只交换加密的中间参数。前者回答"数据能不能流"，后者回答"数据不流也能不能联合建模"。联合贷正是典型场景：样本银行B与合作银行各自的风控数据不出域，联邦建模支撑联合风控；
• 样本银行B路线补全了本文合规命题的另一半。不止"接得进来、用得合规"（本文红线节），还有"协作得起来"。当合规把数据隔离变成常态，跨机构联合建模的技术能力本身成为数据工程的竞争力。

追问链

Q1：三方数据挂了，决策怎么办？

数据侧三道防线：

• ① 主备双源自动切流（L1/L2 标配）；
• ② 缓存旧值兜底——用几天前的数据打上"新鲜度降级"标记继续决策，比无数据硬猜好。但仅在报告有效期内合法；
• ③ 都不可用则按数据源分级执行预案：L1 缺失授信 fail-close（无征信授信 = 敞口无限大）。L2 缺失按特征缺失策略走保守档。L3 直接跳过。

完整的按场景分级降级矩阵在风控决策架构。数据侧的职责是让降级有东西可降：备源、缓存、缺失值预案。

Q2：怎么评估一个三方数据值不值？

四步：

• ① 合规尽调一票否决（来源合法性、持牌资质）；
• ② 统计评估：覆盖率（查了有没有）、与现有变量的冗余度（相关性）、增量价值。增量价值指在已有全部特征之上加入它，模型 KS/规则召回提升多少。很多数据单看很强、叠上去没增量，因为和征信高度相关；
• ③ 流量实验——按比例灰度使用，对比通过率与早期风险指标，至少覆盖一个风险表现周期；
• ④ 算账——单次成本 × 月查询量 vs 边际收益（坏账降低 + 通过率提升带来的放款增量）。

采购决策里，"增量"比"效果"重要，"效果"比"故事"重要。

Q3：变量口径变了，模型怎么办？

先分主动与被动。主动变更（自己改公式）走变量工厂审批：新开版本、影响面评估、双版本双跑、下游 PSI 检验后逐个切换。老版本保留给历史回放。被动变更（供应商改报文）由分布突变告警触发同一套流程。区别是要先对照 L1 原始报文的前后版本确认口径到底怎么变的。

共同的底线：口径切换不等于模型自动适配——变量分布漂了，模型在新分布上等于"没训练过"。PSI 超阈值的必须重训或重校准，不是观察两天了事。

小结

• 决策是数据函数：一次授信拉几十上百数据项，数据工程负责接得进、治理得动、用得合规、花得起钱；
• 二方独家（护城河，治理是主要成本）、三方按次真金白银。八类三方数据、三种计费，全部经统一接入网关（去重/协议适配/密钥/计费/降级/缓存）进企业。供应商 SLA 分级 + 主备双源；
• 三层加工：原始报文（不可变事实源）→ 标准化宽表 → 变量工厂（定义/版本/口径审批）。线上线下一致性与风控篇的特征平台是同一条防线；
• 合规是业务资格而非功能约束。授权链路留痕、断直连走持牌通道、最小必要、爬虫红线、分级分类脱敏；
• 质量监控盯突变（口径被动变更的第一信号），成本优化抓缓存命中率与查询时机。三方数据账单和风险敞口一样，要被主动管理。

2026-10 新增（金融信贷域 · 数据工程）。