隐语可信数据空间MOOC第29讲笔记:安全协作查询语言SCQL

叶开233 2025-11-20 12:55:24

笔记内容来自隐语Mooc,欢迎一起来学习。Mooc课程地址:https://www.secretflow.org.cn/community/bootcamp/2narwgw4ub8rabq/course/vhii941jitkl122?tab=outline

img

一、SCQL 背景与概述

1.1 联合数据分析场景

场景类型特点技术方案
传统数据分析数据使用方拥有数据权限MySQL、Spark等成熟方案
联合数据分析数据分散在多家机构且高度敏感需要隐私计算技术

1.2 典型应用场景

  • 金融机构 + 电商平台:联合用户画像分析
  • 多家医院:联合研究药物疗效
  • 跨机构数据协作:在保护隐私前提下进行数据分析

1.3 技术路线对比

技术路线优点缺点
TEE SQL计算效率高数据要出境,依赖专有硬件
MPC SQL数据不出境,通用硬件计算效率相对较低
SCQL平衡安全性与性能支持多种密态协议

二、SCQL 核心概念

2.1 SCQL 定义

  • 全称:Secure Collaborative Query Language
  • 定位:提供多方联合数据分析能力的安全查询语言

2.2 关键特性

特性说明
安全性半诚实安全模型,列级别数据授权控制(CCL)
易用性支持MySQL语法,多种数据源接入(MySQL、Postgres、CSV)
扩展性支持多方(N≥2)协作
性能支持亿级求交,千万量级聚合,多种密态协议

2.3 支持的密态协议

  • SEMI2K
  • CHEETAH
  • ABY3

三、CCL(列控制列表)详解

3.1 CCL 定义与作用

  • 全称:Column Control List
  • 本质:数据使用约束机制,描述每列数据在使用过程中的约束条件
  • 形式:三元组 <src_column, dest_party, constraint>

3.2 CCL 约束类型

约束类型说明适用场景
PLAINTEXT无限制使用非敏感数据
PLAINTEXT_AFTER_JOINJOIN后可明文关联键
PLAINTEXT_AS_JOIN_PAYLOADJOIN负载字段可明文关联值字段
PLAINTEXT_AFTER_GROUP_BY分组后可明文分组统计
PLAINTEXT_AFTER_AGGREGATE聚合后可明文统计指标
PLAINTEXT_AFTER_COMPARE比较后可明文条件过滤
ENCRYPTED_ONLY始终密文高度敏感数据
UNKNOWN未定义,默认拒绝安全默认

3.3 CCL 安全模型

  • 安全原则:不满足CCL约束一定不安全,满足CCL约束不一定安全
  • 审批优化:降低数据使用审批负担,提供优化机会

3.4 CCL 示例

数据授权:

Alice <salary, Bob, PLAINTEXT_AFTER_AGGREGATE>
Bob <id, Alice, PLAINTEXT_AFTER_JOIN>

合法查询:

SELECT AVG(tb.col1)
FROM tb
INNER JOIN ta ON tb.id = ta.id

非法查询:

SELECT tb.id, tb.col1  -- 违反CCL约束
FROM tb
INNER JOIN ta ON tb.id = ta.id

四、SCQL 系统架构

4.1 P2P模式系统组成

组件职责
SCQLBroker用户交互、状态同步、SQL分析、任务调度
SCQLEngine明密文混合执行引擎,完成多方分析任务

4.2 架构特点

  • 去中心化:P2P部署模式(从中心化演进而来)
  • 模块化:Broker与Engine分离,职责清晰
  • 可扩展:支持多种数据源和计算后端

五、SCQL 实践指南

5.1 典型应用场景

场景描述:

金融机构Alice联合电商平台Bob进行用户画像分析

分析目标:

  • 统计不同信用等级的活跃用户人数
  • 计算平均收入和平均交易额
  • 年龄范围:20-30岁

SQL查询:

SELECT
    ta.credit_rank,
    COUNT(*) as cnt,
    AVG(ta.income) as avg_income,
    AVG(tb.order_amount) as avg_amount
FROM
    ta
INNER JOIN tb ON ta.ID = tb.ID
WHERE
    ta.age >= 20
    AND ta.age <= 30
    AND tb.is_active = 1
GROUP BY
    ta.credit_rank;

5.2 SCQL 使用流程

部署系统
    ↓
项目设置(创建项目、邀请用户)
    ↓
数据授权(创建表、设置CCL)
    ↓
联合分析执行

5.3 部署模式演进

  • 历史:中心化部署
  • 当前:P2P部署(支持SecretNote演示)

六、SCQL 核心价值

6.1 安全性保障

  • 🔒 细粒度授权:列级别数据使用控制
  • 🔒 约束执行:引擎严格保证CCL约束
  • 🔒 半诚实安全:实用的安全模型

6.2 易用性设计

  • 🎯 SQL兼容:MySQL语法,学习成本低
  • 🎯 多数据源:支持常见数据库和文件格式
  • 🎯 工具生态:提供SecretNote等可视化工具

6.3 性能优化

  • 协议选择:支持多种密态协议适配不同场景
  • 规模支持:亿级数据求交,千万级聚合
  • 混合引擎:明密文混合执行提升效率

七、学习建议

7.1 入门路径

  1. 理解概念:掌握CCL机制和安全模型
  2. 环境搭建:部署SCQL系统(P2P模式)
  3. 实践案例:运行示例查询,理解CCL配置
  4. 场景扩展:尝试复杂业务场景的CCL设计

7.2 进阶方向

  • CCL设计:学习如何为不同敏感度数据设计合适的约束
  • 性能调优:了解不同密态协议的适用场景
  • 系统运维:掌握P2P模式下的系统管理和监控

7.3 注意事项

  • CCL谨慎配置PLAINTEXT约束需特别谨慎
  • 安全理解:满足CCL不等于绝对安全,需结合业务风险评估
  • 性能平衡:在安全性和性能间找到合适平衡点
...全文
459 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
随着元宇宙概念兴起与虚拟数字人技术快速发展,虚拟主播、在线教育虚拟助教、元宇宙社交等应用场景对实时动作表情驱动系统提出更高需求。当前主流动作捕捉方案多依赖专业光学动捕设备或深度相机,设备成本高昂、部署复杂,难以在普通用户场景普及。本研究设计并实现一套基于普通单目摄像头的虚拟数字人实时动作表情驱动系统,旨在降低数字人内容生产门槛。系统采用Unity作为主开发引擎,结合Blender进行数字人模型构建与BlendShape表情系统制作,使用MediaPipe框架实现人脸关键点检测与人体姿态估计,通过C#脚本完成实时数据处理与渲染控制。系统包含五个关键模块:人脸关键点检测(MediaPipe Face Mesh提取468个关键点)、人体姿态估计(MediaPipe Pose识别33个骨骼关键点)、表情迁移映射、动作平滑优化(卡尔曼滤波与贝塞尔曲线插值消除抖动)、实时渲染(60fps流畅渲染,支持直播推流与视频录制)。实验结果表明,系统在普通笔记本上可实现60fps实时驱动,人脸关键点检测准确率达98.7%,人体姿态估计平均误差小于5像素,表情迁移相似度达92.3%。 【课程报告内容】 摘要 第1章 绪论 第2章 相关技术与理论基础 第3章 系统架构设计 第4章 关键模块设计与实现 第5章 实验与结果分析 第6章 总结与展望 参考文献
内容概要:本文提出了一种基于蒙特卡洛模拟与拉格朗日松弛法的分散式优化策略,用于解决电动汽车充电站在分时电价机制下的有序充电调度问题。通过蒙特卡洛方法模拟电动汽车充电行为的随机性,生成多样化负荷场景,构建以降低电网负荷波动和用户充电成本为目标的优化模型;采用拉格朗日松弛法对耦合约束进行解耦,实现分布式求解,在保障用户隐私的同时提升计算效率。文中设计了详细的仿真场景,系统分析了该调度策略对电网负荷特性和用户经济性的影响,验证了所提方法在实际应用中的有效性与可行性。; 适合人群:具备电力系统运行、优化算法理论及Matlab编程能力的研究生、科研人员以及从事智能电网与电动汽车相关领域的工程技术人员。; 使用场景及目标:①应用于城市规模化充电站集群的有序充电管理,实现电网“削峰填谷”;②为电力公司制定科学合理的分时电价政策提供量化分析工具;③支撑智能电网中需求侧资源的分布式协同优化调度研究与系统设计。; 阅读建议:建议结合提供的Matlab代码深入理解算法实现流程,重点掌握蒙特卡洛场景生成机制与拉格朗日松弛迭代求解过程,可通过调整参数设置复现不同工况下的仿真结果,以深化对分散式优化机制与调度效果之间关系的理解。
内容概要:本文研究了基于阶跃响应的V-Tiger自动增益调整PID控制器优化方法,并提供了完整的Matlab代码实现。通过深入分析PID控制的核心性能指标与V-Tiger控制器的动态特性,提出了一种融合阶跃响应特征提取与多目标协同优化的自动整定方案,设计了具备自适应迭代校正能力的优化机制,有效提升了控制系统的响应速度、稳定性和抗干扰能力。文中系统阐述了整定原理、算法架构设计及性能验证流程,通过仿真实验充分验证了该方法在复杂工业控制场景下实现高精度参数自整定的可行性与优越性,为智能PID控制提供了可复现、可拓展的技术路径。; 适合人群:具备自动控制理论基础和Matlab编程能力,从事控制工程、自动化、电气工程等领域研究的研发人员及高校研究生。; 使用场景及目标:①应用于需要高精度PID参数整定的工业控制系统中,如电机驱动、温度控制、电力电子变换器等;②为科研人员提供一种可复现、可扩展的智能PID整定方法,用于提升系统动态性能与鲁棒性;③作为教学案例帮助学生理解PID整定原理与现代优化算法的融合应用。; 阅读建议:建议读者结合文中的Matlab代码逐模块运行与调试,重点关注阶跃响应特征提取与增益优化策略的实现逻辑,同时可尝试将其应用于实际控制系统中进行对比验证,以深化对自动整定机制的理解。

576

社区成员

发帖
与我相关
我的任务
社区描述
隐语开源社区,隐私计算开发者交流和讨论的平台。
密码学可信计算技术安全 企业社区
社区管理员
  • 隐语SecretFlow
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

【最新活动】

3月18日:隐私计算实训营第一期

试试用AI创作助手写篇文章吧