打卡第7课XGB算法与SGB算法开发实践

[2401_85507902]

XGB算法与SGB算法开发实践

主要内容：

01 背景-纵向数据分割场景和树模型

02 使用-隐语纵向树模型

03 原理和实现-从理论到工程

笔记1纵向数据分割场景和树模型

纵向树模型

基于纵向分割数据集训练的决策树模型。

隐语中纵向树模型算法

SS-XGB

基于秘密分享的XGB(eXtremeGradientBoost)

• 实现了XGB的基本功能
• 基于MPC的密态计算，无信息泄露，可证安全。
• 网络条件好时效率高

SGB（SecureGradientBoost）

基于联邦和同态加密

• 吸收了部分来自XGB和lightGBM的功能
• 采用同态加密保护标签数据，非可证安全
• 计算量大，算力高时效率高

在隐语中使用

SS-XGB

1. 初始化SPU

 

 

1. 设置训练参数

 

 

1. 模型评估

 

 

SGB

1. 准备HEU和数据

 

 

 

 

 

 

1. 设置训练参数

 

 

1. 模型评估和保存

 

 

笔记2  两种算法使用有何区别？

两种方式的区别

准备时：
SS-XGB 要定义SPU设备，SPU重点为MPC的计算；
SGB 要定义HEU设备,HEU重点为同态协议，标签持有方为秘钥持有方。

训练时：
SS-XGB参数为XGB的子集， 仅包含10个训练参数；
SGB有6个安全和联邦参数、18个训练参数、并且隐语中提供参数模板。

训练后：
SS-XGB训练结果为MPC的密文， 需要参与方联合推理,全密态评估；
SGB预测结果为标签持有方明文，支持模型保存，各方持有部分明文参数。

笔记3  SS-XGB / SGB 在隐语实现有什么独特优势？

 

设备抽象

重点算子优化破瓶颈

分层架构——原语

Python实现，灵活易读易维护

分层架构——算法

众人拾柴火焰高

开源共建