第 8 课：密态引擎SPU框架介绍

[2301_80028902]

第 8 课：密态引擎SPU框架介绍

一、为何做SPU

1.WHY SPU – 隐私计算是什么

(1).考虑大模型预测的场景

• 模型是公司的资产

• 提示词包含用户的隐私

(2).利用隐私计算技术

• 模型对用户是加密的

• 提示词对公司是加密的

可以同时保护模型和提示词

2.WHY SPU – 为什么需要隐私计算

(1).数据是敏感的

• 生物识别信息: 人脸, 声音, 基因组

• 金融信息: 收入, 消费, 贷款

• 各国都有相应法规: PISS/GDPR/…

(2).数据是重要的

• 数据是互联网公司最重要的资产

• 联合数据产生更大的价值

3.WHY SPU – 隐私计算的技术路线

(1).隐私保护的技术分类

• 多方安全计算

• 同态加密

• 差分隐私

• 可信硬件

......

4.WHY SPU –加密计算的问题和挑战

(1).加密计算的挑战

• 易用性差 – 类型简单、算子底层

• 性能较差

(2).我们需要 - SPU

• 易用 – 原生AI框架支持

• 性能好 – 编译器运行时协同优化

二、SPU简介

1.编程语言

(1).原生支持主流AI前端

(2).降低学习成本

(3).复用AI前端能力，如自动求导

2.编译器

(1).隐私保护领域 IR

(2).复用AI编译器部分优化

(3).加密计算的优化

3.运行时

(1).多种并发模型支持

• 指令并行

• 数据并行

(2.)多种协议支持

• 两方、三方、多方

• 半诚实、恶意

• 安全协议可扩展

(3).多部署模式支持

• 面向虚拟设备编程

• 一次书写到处执行

4.SPU简介 – 一个虚拟加密处理设备

• Physical

• General

• Fast

• Physical

• Parallel

• SuperFast

• Virtual

• Secure

• Slow

5.SPU简介 – 编程界面

(1).基本使用

• 原生AI框架编程

• 使用JIT编译执行

• 生态无缝衔接

(2).更改安全协议

• 修改SPU配置文件

• 无需代码修改

(3).优化和错误排查

• Profiling – multi-level profiling

• Tracing – full stack trace

• Debugging – plaintext runner

三、现状和展望

1.现状和展望 – 开源共建

隐语开源生态

• SPU 支持 PPML

• SPU 支持联邦学习

• SPU 支持 SCQL

2.现状和展望 – 学术支持

• 计算机系统

• 隐私保护机器学习

• 密码协议创新

3.现状和展望 – 构建加密计算生态

SPU 屏蔽了密码学协议，支持numpy原生编程

• 构建安全sklearn-like机器学习库

• 构建安全pandas-like数据分析库

• 支持更多的安全后端