《隐语入门基础教程》-学习笔记1

[线树图集]

一、隐语架构概览

        隐语架构是一个全面且层次分明的隐私保护计算架构，从硬件层到产品层，涵盖了多个关键组件和技术，以满足不同场景下的隐私计算需求。

二、架构分层详解

• 硬件层 ：提供硬件加速和可信环境支持，包括 Intel SGX2、海光 CSV、Intel TDX 等，为整个架构奠定基础，确保计算过程在安全的硬件环境中执行。
• 资源层 ：具备数据管理、网络管理、计算资源管理以及应用管理功能，实现资源的有效分配和管理，以支持上层的隐私计算任务。
• 计算层 ：包含密态引擎和明文引擎。密态引擎如 SPU（Secure Process Unit）利用密码原语（YACL）进行加密计算，而明文引擎则涵盖 PYU 和 SQL，用于处理明文数据的计算任务。
• 算法层 ：支持多种隐私保护原语，如 HEU（同态加密单元）、TEEU（可信执行环境单元）、TECCU（可信计算环境容器单元）、DP（差分隐私）等，还提供混合编译调度功能，以实现不同算法的优化组合和高效执行。
• 产品层 ：提供了丰富的工具和产品，如交互式建模工具 SecretNote、多部署形态的 SecretPad、多方安全数据分析系统 SCQL 等，以满足不同用户群体在各种场景下的隐私保护计算需求。

三、核心组件解析

• SPU（Secure Process Unit） ：

  • 定位 ：桥接上层算法和底层安全协议，为用户提供个性透明的、高性能的密态计算能力，同时保持原生 AI 框架体验。
  • 核心特性 ：原生对接主流 AI 前端（如 TensorFlow、JAX、PyTorch），支持丰富的机器学习算法，采用基于 MLIR 的加密计算编译优化，具备高性能 MPC 协议虚拟机，支持多种数据并行和指令并行优化，适配多种场景的丰富 MPC 协议，并支持协议扩展和异构设备接入。

• HEU（Homomorphic Encryption Unit） ：

  • 定位 ：作为一个低门槛、高性能的同态加密库，支持多种类型、可扩展的算法协议和硬件加速生态，适用于同态加密相关的需求场景。
  • 核心特性 ：支持多种 PHE（部分同态加密）算法，性能在业界领先，提供多种接口（如 Numpy-like API、C++、Python）以方便用户使用，并支持硬件加速以进一步提升性能。

• TEEU（Trusted Execution Environment Unit） ：

  • 定位 ：支持多种可信执行环境，具备数据使用跨域管控能力，可作为密态计算枢纽，执行数据分析、机器学习、MPC/FL 加速等功能。
  • 功能特点 ：实现数据确权、使用授权、使用鉴权、结果授权等功能，支持预处理、经典机器学习，未来计划支持深度学习和大模型，兼容多种硬件环境（如 SGX、HyperEnclave、海光 CSV、Intel TDX）。

• YACL（Yet Another Common Crypto Library） ：

  • 定位 ：作为多种隐私计算技术路线共用的密码库，注重安全实现保证和高性能。
  • 优势体现 ：在安全性方面，具备安全逻辑 “链”；在性能上，核心原语有高性能保障，并有详细的 benchmarking；在易用性上，对密码协议开发者提供了良好的接口抽象，注释即文档。

• Kuscia（KUbernetes based Secure Collaborative InfrA） ：

  • 定位 ：屏蔽不同机构间基础设施差异，为跨机构协作提供资源管理和任务调度能力。
  • 组成架构 ：Master（控制平面）包括 K3s、KusciaControllers 和 InterConnControllers；Lite 包含 ServiceMesh、DataMesh 和 Agent，整体基于 K8s 构建隐私计算任务编排框架。

四、产品功能与应用场景

• 交互式建模工具（SecretNote） ：以 Notebook 形式呈现，支持多节点一站式管理和交互，适用于交互式建模场景，如多方协同进行数据分析、模型训练等，方便用户快速验证 POC，降低终端用户的使用成本和演示成本。
• 多部署形态产品（SecretPad） ：具有轻量化安装、中心模式和计划中的 P2P 模式，可满足不同部署需求和场景，如在中心模式下实现对多个节点的集中管理和协调，在 P2P 模式下实现去中心化的隐私计算协作。
• 多方安全数据分析（SCQL） ：通过提供 MySQL 兼容的 SQL 方言用户界面，让数据分析人员能够在保护数据隐私的前提下，完成多方数据分析任务，适用于多方协作的数据分析场景，如跨机构的数据联合统计、联合查询等。
• 联邦学习 ：包含水平联邦和垂直联邦（主要是拆分学习），在原始数据不出域的情况下，通过交换中间数据完成机器学习建模，适用于对数据隐私要求高且需要利用多方数据进行模型训练的场景，如金融、医疗等领域的联合建模。

五、互联互通与跨域管控

• 互联互通 ：隐语支持与其他厂商的平台进行互联互通，共同完成隐私计算任务。包括黑盒模式（管理调度互联）和白盒模式（基于开放算法协议的互联），满足不同场景下跨平台协作的需求，有助于整合各方资源，拓展隐私计算的应用范围。
• 跨域管控 ：关注数据流转过程中的权益保障，通过数据确权、使用授权、使用鉴权、存证审计等机制，实现数据加工使用权的跨域管控，确保数据在不同域之间的流转符合相关规定和要求，保护数据资源持有者和数据产品的权益。

六、优势总结

• 分层易集成 ：清晰的分层架构使得各层组件相对独立，又相互协作，便于根据实际需求进行灵活集成，无论是平台集成者、算法使用者还是产品使用者，都能找到适合自己需求的组件和接口。
• 开放的 API 接口 ：提供开放的 API 接口，支持二次开发定制，为用户提供了更大的自由度和灵活性，能够满足不同用户的个性化需求，促进隐私计算技术的广泛应用和创新。
• 大规模生产能力 ：具备大规模生产能力，可满足大规模隐私计算任务的需求，保障隐私计算在实际应用中的高效性和可靠性，适合在各种大型项目和场景中落地实施。