TokenLight：基于物理令牌的AI图像重光照技术详解

1. 项目概述与核心价值

在摄影、影视后期乃至游戏美术的日常工作中，我们常常会遇到一个令人头疼的问题：一张照片或渲染图的光照氛围不对，但场景已经固定，无法重新拍摄或渲染。传统解决方案要么依赖昂贵的物理灯光设备重拍，要么需要进入3D软件进行复杂的场景重建与重新打光，流程繁琐且门槛极高。图像重光照技术，正是为了解决这个痛点而生——它允许我们在二维图像上直接、直观地修改光照，仿佛手中握有一支能“绘制”光线的魔法笔。

近年来，随着扩散模型等生成式AI的爆发，基于学习的重光照方法取得了飞跃。它们不再强求解耦复杂的物理参数，而是从海量数据中直接学习“光照变化”与“图像外观”之间的映射关系。然而，现有方案在控制的精确性、可解释性与空间局部化能力上往往捉襟见肘。用文本描述调整光照？结果可能天马行空，无法预测。依赖背景图或全景环境贴图？又难以实现精细的、近场的光源控制。

今天要深入探讨的TokenLight，正是针对这些核心挑战的一次漂亮回应。它没有选择走“黑盒”路线，而是巧妙地设计了一套物理属性令牌系统，将光照的强度、颜色、位置等属性编码成模型能直接理解的离散信号。这就像为扩散模型配备了一套标准化的“灯光调节旋钮”和“三维坐标仪”，让用户能够以近乎物理真实的方式，对图像中的光照进行连续、解耦的精细控制。其最吸引人的地方在于，它绕开了繁琐且不稳定的显式3D重建，通过端到端的训练，让模型直接从图像和光照令牌中“幻想”出符合物理规律的重光照结果。无论是想在人物背后添加一道轮廓光，还是微妙地调整室内台灯的色温与亮度，TokenLight都提供了一种前所未有的、兼具直观性与精确性的解决方案。

2. TokenLight框架设计思路拆解

2.1 为何选择“令牌化”光照表示？

在深入架构之前，我们必须先理解TokenLight最核心的设计思想：用离散的、物理意义明确的令牌来表征连续的光照变化。这并非凭空想象，而是对现有技术瓶颈的深刻反思。

主流重光照方法的光照控制方式大致分为几类：基于文本描述、基于参考图像、基于环境贴图或基于逆向渲染。文本控制虽直观，但“温暖的夕阳”和“冷峻的顶光”这类描述过于模糊，无法精确定位光源在三维空间中的具体坐标（x, y, z）和辐射强度（λ）。基于参考图像或环境贴图的方法，虽然能传递整体光照氛围，但同样缺乏对场景中特定局部区域进行独立光照编辑的能力。而逆向渲染方法试图先恢复场景的几何、材质，再重新渲染，这条路径理论上最完美，但实践中单视图的几何与材质估计极其困难，且计算开销巨大。

TokenLight的答案很巧妙：我们不必完全解开这个“黑箱”。既然最终目标是改变像素值，那么我们可以建立一个从“光照参数变化”直接到“输出图像”的端到端映射。关键在于，如何设计这个“光照参数”的输入形式，让它既对用户友好（可精确调节），又对模型友好（易于学习）。将物理属性（标量如强度、向量如位置）通过高斯傅里叶特征编码成令牌，再与图像潜在特征拼接，相当于为模型提供了一份结构化的“光照编辑清单”。模型在训练时，看到了无数“输入图像+光照令牌 -> 输出图像”的配对样本，从而学会了根据令牌的数值变化，在图像空间中合成相应的光影效果。

2.2 核心光照编辑操作的数学抽象

TokenLight将一次光照编辑抽象为一个增量变化 ΔL。给定原始场景S和光照L，渲染图像 I = f(S, L)。重光照目标是得到在新光照 L_r = L + ΔL 下的图像 I_r。传统逆向渲染需要先估计 S = g(I)，再计算 I_r = f(g(I), L_r)。TokenLight则跳过显式的g(I)，直接学习一个重光照算子 R，使得 I_r = R(I, ΔL)。这个R，就是我们要训练的扩散模型。

ΔL被具体参数化为四种可组合的操作：

1. 全局环境光缩放：L_r = a · L，一个标量a控制整体环境光的明暗。
2. 全局漫反射级别控制：一个标量 d_g，调整现有光照的“软硬”程度，实质是控制阴影的柔和度与高光的衰减。
3. 添加额外光源：ΔL_add = (p, c, λ, d)。这里p是光源的三维位置，c是RGB颜色，λ是强度，d是该光源特有的漫反射级别（控制其衰减范围）。这是实现空间定位光照的核心。
4. 控制场景内现有光源：ΔL_in = (m, c, λ, t)。其中m是一个二维掩码，用于指定图像中哪个灯具或窗户是目标；c和λ控制其颜色与强度；t是一个二值标志，表示是开启、关闭还是调光。

这四种操作通过令牌组合，几乎可以覆盖所有常见的摄影布光需求。例如，你可以先降低全局环境光（a<1），再在人物左前方45度位置（p）添加一个暖色调（c）的、强度适中（λ）的柔光（d较大），从而模拟出经典的“伦勃朗光”效果。

2.3 场景无关的相机与光照坐标系

实现三维空间光源放置的一个巨大挑战是坐标系定义。用户是在2D图像上操作，但光源位置p是三维的。如果依赖于每个场景不同的3D重建结果，那么坐标系统一将非常困难。

TokenLight采用了一种场景无关的、基于相机视图的规范化坐标系。其核心思想是：定义一个与相机绑定的标准立方体空间。所有光源的参数（位置、强度衰减、半径）都在这个规范空间内定义和采样。对于不同的场景，我们通过一个相似变换（旋转、平移、缩放）将这个立方体“放置”到场景中。关键在于，在训练时，我们使用变换后的参数进行渲染，以生成真实的图像对；但在给模型输入时，我们使用规范空间内的参数作为令牌。这样，模型学习到的是“在规范坐标系下，某个位置的光源会产生什么样的光影效果”。在推理时，用户只需在2D图像上指定一个大致深度（或使用默认值），系统会自动将其映射到规范空间的三维坐标，模型便能根据历史经验，“想象”出该位置光源应有的效果。

这种设计的精妙之处在于，它将复杂的、与场景相关的3D几何理解问题，转化为了一个在规范空间内学习的、相对稳定的图像生成问题。模型不需要精确知道沙发离相机多远，它只需要知道“在规范空间（x=0.5, y=0, z=0.2）处放置一个光源，在类似视角的图像上，通常会在物体右侧形成一片怎样的高光和阴影”。

3. 数据构建与模型训练实战解析

3.1 大规模合成数据集的构建策略

要让模型学会理解如此精细的光照控制，高质量、大规模、标注精准的训练数据是基石。TokenLight选择在Blender中使用Cycles物理路径追踪渲染器来构建数据集，这是保证物理真实性的关键。

数据构建流程如下：

1. 资产准备：使用经过筛选的Objaverse子集、程序化生成的场景（包含地面和墙壁以承接阴影）以及程序化生成的3D人物模型，确保数据在物体类别和场景复杂度上的多样性。
2. 光照配置采样：
   • 环境光：从PolyHaven等库中采样约600张HDR环境贴图，并通过随机缩放其强度来模拟全局环境光变化。
   • 漫反射控制：使用面光源，并随机采样其张角（对应d_g），以生成不同软硬程度的阴影。
   • 额外点光源：在规范空间内随机采样64个点光源位置，并随机赋予颜色、强度和衰减半径。
   • 场景内光源：使用83个艺术家制作的内景场景，其中可见的灯具（如台灯、吊灯）已被标注。分别渲染每个灯具单独开启时的贡献，从而获得精确的光源掩码m。
3. 配对样本生成：渲染所有基础光照组件（如纯环境光、每个灯具单独的光照、每个点光源在不同位置的光照）。在训练时，通过在线线性混合（在线性RGB空间）这些组件，并随机采样强度a、λ和颜色c，动态合成出近乎无限的（I, ΔL, I_r）训练三元组。这种方式避免了为每一种可能的参数组合进行穷举渲染，极大地提升了数据利用效率。
4. 真实数据补充：除了合成数据，团队还采集了约600张真实室内照片，在可控条件下（如开关某个灯）拍摄成对图像。这些数据虽然缺乏精确的3D参数，但提供了宝贵的跨域真实感，用于微调模型，提升其在真实图像上的泛化能力。

实操心得：在构建合成数据集时，一个容易被忽视的细节是色彩空间。Blender Cycles渲染器默认输出线性颜色空间的数据，而大多数图像模型是在sRGB或近似sRGB的数据上训练的。TokenLight在将渲染结果送入模型前，使用了Reinhard色调映射算子将线性RGB转换到显示相关的颜色空间。这一步对于模型学习到符合人眼感知的光照变化至关重要。如果直接使用线性数据，模型生成的结果往往会显得对比度过低、颜色发灰。

3.2 基于扩散变换器的模型架构与训练

TokenLight的生成模型核心是一个潜在扩散变换器。其工作流程可以概括为：

1. 编码：输入图像I通过一个VAE编码器被压缩到潜在空间，得到图像令牌序列。同时，光照编辑参数ΔL（标量、向量、掩码）被编码成对应的光照属性令牌。
2. 拼接与融合：图像令牌和光照令牌被拼接成一个长的序列，输入给一个Transformer骨干网络。这里采用了全自注意力机制，意味着图像中的每个“块”都能关注到光照令牌，反之亦然。这使得模型能够在统一的表示空间内，共同推理空间内容和光照控制指令。
3. 去噪生成：模型的目标是学习一个条件概率分布 p(I_r | I, ΔL)。在训练时，它采用流匹配目标。简单来说，给定一个目标数据潜在表示X和随机噪声ε，模型学习预测一个“速度场”，这个场能够沿着一条直线路径将噪声ε“搬运”到目标X。条件信息（I和ΔL）则引导这个搬运过程。这种训练目标相比传统的扩散模型损失，通常更稳定、收敛更快。
4. 解码输出：去噪后的潜在表示通过VAE解码器，最终得到重光照后的输出图像I_r。

训练细节方面：

• 初始化：从一个预训练的文生视频/图像扩散模型检查点开始，这为模型提供了强大的通用视觉先验。
• 条件控制：使用了分类器无关引导。在训练时，随机丢弃一部分样本的光照条件（ΔL），让模型也学会无条件生成。在推理时，通过一个引导尺度（如w=2）来放大条件信号的影响，从而增强对光照指令的遵循程度。
• 关键参数：输入图像分辨率960px，使用AdamW优化器，学习率1e-5，在16块A100 GPU上训练约2天（15,000步）。推理时使用DDIM采样器，50步。

注意事项：从预训练模型微调时，学习率不宜设置过高。因为预训练模型已经具备了强大的图像生成能力，我们的目标是在此基础上“教会”它理解新的光照令牌条件。过高的学习率可能会破坏原有的视觉先验，导致生成质量下降或失去语义一致性。TokenLight采用的1e-5是一个比较保守且有效的选择。

4. 三大核心光照控制功能实操详解

4.1 功能一：在2D图像中添加3D空间虚拟光源

这是TokenLight最亮眼的功能。用户可以在图像中指定一个三维位置（p），并设置该光源的颜色（c）、强度（λ）和柔和度（d），模型便会“无中生有”地添加一个符合物理规律的光源。

操作流程与参数解读：

1. 位置指定：用户通过交互界面，在图像上点击并拖拽一个3D控件（通常是一个可移动的点或一个3D gizmo）来定义光源位置。系统后台会将屏幕坐标与用户估计或粗略交互得到的深度信息，转换为规范空间中的（x, y, z）令牌。例如，将光源放在人物鼻尖前方，可能对应令牌 pos: (0.05, 0.0, 0.15)。
2. 属性调节：
   • 颜色c：通常通过RGB值或色温滑块控制。令牌化时，RGB三个通道值被扁平化为独立的令牌。
   • 强度λ：一个标量值，控制光源的亮度。需要理解的是，在规范坐标系下，强度需要与距离的平方成反比进行补偿，以模拟真实的光衰减。这在数据构建时已通过参数s²·E进行了处理，因此用户调节的λ是一个感知上的相对强度。
   • 漫反射级别d：控制光源的“软硬”。较小的d模拟点光源，产生锐利的阴影；较大的d模拟面光源或加了柔光箱的效果，阴影边缘柔和。
3. 模型推理：将原始图像、位置令牌、颜色令牌、强度令牌、漫反射令牌一并输入模型。模型根据其在合成数据中学到的“规律”，在对应位置生成合理的高光、阴影和漫反射效果。例如，在玻璃杯后方添加光源，模型会生成透射光效；在毛绒玩具侧面打光，会生成柔和的皮毛光泽。

实战案例与技巧：

• 创造轮廓光：将虚拟光源放置在主体后方偏上的位置（p的y值较小，z值较大），强度λ调高，颜色c可设为暖白或冷白，d值较小以形成清晰的边缘。这是人像摄影中分离主体与背景的经典手法。
• 模拟窗光：在图像一侧放置一个较大的、矩形区域的光源（这需要扩展TokenLight以支持形状参数，但思路类似），将d值调大模拟柔和的天空光，颜色c设为偏蓝的日光色温。
• 避免穿帮：添加的光源如果位置过于“穿透”物体（如从墙壁内部发光），模型可能会产生不合理的、发光墙壁的效果。虽然模型有一定纠错能力，但最好像真实布光一样思考，将光源放在合理的空区域。

4.2 功能二：全局环境光照的编辑与扩散

这个功能用于调整图像的整体光照氛围，类似于在后期软件中调整“曝光”、“对比度”和“阴影/高光”，但它是基于物理光照模拟的，效果更统一、自然。

核心操作：

1. 环境光缩放：调节全局环境光的强度标量a。a>1提亮整个场景，a<1压暗场景。这不同于简单调整曲线，因为它会智能地保持光照关系，例如，在压暗环境光时，直接受光的区域衰减比例可能与阴影区不同，从而更好地突出主体。
2. 全局漫反射控制：调节标量d_g。这是TokenLight一个非常实用的功能。增加d_g，相当于让环境光变得更“漫射”或“柔和”，其直接效果是软化阴影、降低对比度。这在处理人像肖像时，可以磨平粗糙的皮肤阴影；在处理文档翻拍时，可以有效地去除因不均匀照明产生的阴影（见图7b(ii)）。

技术实现浅析：在合成数据中，d_g是通过改变主导面光源的角张角来实现的。模型并没有直接学习“角张角”这个物理量，而是学习了“d_g令牌值”与“图像中阴影边缘模糊程度”之间的关联。因此，即使在推理时输入一张真实照片，模型也能根据d_g值，合理地“幻想”出阴影被柔化或硬化的效果。

4.3 功能三：场景内现有光源的精确控制

对于图像中已经存在的灯具（如台灯、壁灯、吊灯），TokenLight允许用户通过绘制一个简单的掩码m来选中它，然后像控制虚拟光源一样，调节其开关、明暗和颜色。

操作步骤：

1. 掩码标注：用户用笔刷粗略勾勒出灯具的发光区域。这不需要精确到像素级，模型对掩码有一定的鲁棒性。
2. 属性编辑：结合掩码令牌m，传入颜色c、强度λ和开关标志t。例如，将t设为“关”（或λ=0），即可关闭该灯。模型不仅会让灯具本身变暗，还会智能地移除由该灯具产生的所有投射阴影和高光反射，如图6(ii)所示，关闭吊灯后，桌面上的阴影也随之消失，这体现了模型对光-物交互关系的深刻理解。
3. 复杂交互：可以同时控制多个灯具。例如，在室内场景中，关闭主灯（λ=0），同时开启并调暖壁灯的颜色（c偏向橙黄），从而营造出温馨的夜间氛围。

避坑指南：控制场景内光源时，掩码的质量对结果有影响。如果掩码包含了太多非发光部分（如灯罩的不发光区域），模型在“关闭”操作时可能会错误地改变这些区域的外观。建议的作法是，掩码尽量只覆盖发光核心区域（如灯泡、灯管）。对于复杂的灯具，可以分多次、用多个小掩码来控制不同部分。

5. 效果评估、对比与局限性分析

5.1 定量与定性评估结果

TokenLight在合成数据和真实数据上均进行了 rigorous 的评估。

合成数据评估：在Objaverse测试集上，与Neural Gaffer和DiffusionRenderer等基于环境贴图的方法对比。TokenLight在PSNR、SSIM和感知相似性指标LPIPS上均显著领先。更重要的是，在“点光源GT”的测试中（这是最接近物理真实的近场光照），TokenLight的优势更大，这说明其空间光照控制能力更强。

空间精度分析：为了验证模型对光源位置的敏感度，研究者设计了一个巧妙的实验。让点光源沿着一条直线轨迹移动，生成一系列重光照结果，并计算预测结果与真实渲染之间的误差混淆矩阵。理想情况下，模型应该对位置变化非常敏感（即不同位置的光照结果差异明显），同时每个位置的预测都要准确。TokenLight在这项测试中表现优异，其混淆矩阵更接近“理想对角线”模式，表明它既能准确响应位置指令，又能清晰区分不同位置。

用户研究：在真实图像测试中，让参与者对比TokenLight与GenLit、Careaga等方法的结果。TokenLight在“哪个结果更符合目标光照参考”和“哪个图像质量更高”两个问题上，分别以77.5%和89.2%的偏好度大幅胜出。

真实场景可见光源控制：在VisibleFixture-60数据集（包含60对真实拍摄的灯具开关图像）上，TokenLight同样大幅超越了ScribbleLight等方法，能够准确地生成或消除灯具对应的光影效果。

5.2 与前沿方案的对比优势

与同样支持空间控制的GenLit和Careaga等方法相比，TokenLight的优势体现在：

• vs GenLit：GenLit将光照参数与相机视角耦合训练，导致其空间控制行为不稳定，相机角度一变，同样的光源参数可能产生不同的光照效果。TokenLight的场景无关坐标系解决了这个问题，提供了稳定、可预测的控制。
• vs Careaga et al.：该方法采用“2.5D重建+神经渲染”的两阶段管道。对于遮挡严重、材质复杂（如半透明、毛发）的场景，其几何重建容易出错，进而影响渲染质量。TokenLight的端到端方案避免了显式重建的瓶颈，在这些挑战性场景下表现更鲁棒，能生成更真实的半透光效和毛发高光（见图8）。

5.3 当前局限性与未来展望

尽管强大，TokenLight仍有其边界：

1. 极端光照变化的挑战：模型从数据中学习光照先验，因此对于训练数据分布之外、过于极端的光照变化（如从正午阳光直接变为全黑环境），可能产生不合理或模糊的结果。
2. 复杂光路交互：对于涉及多次反射、折射的复杂光路（如两个镜子之间的无限反射、复杂的焦散效果），当前模型可能无法完全模拟。这受限于训练数据的复杂度和模型容量。
3. 对输入图像质量的依赖：如同所有基于深度学习的图像编辑方法，输入图像的质量（分辨率、噪声、动态范围）会影响输出效果。低光、高噪点的图像可能导致生成结果细节丢失。
4. 交互实时性：基于扩散模型的迭代去噪过程，即使经过优化，要达到完全实时交互（如拖动光源位置实时预览）仍有挑战。未来可探索更快的采样器或蒸馏成一步生成模型。

个人在实际操作中的体会是，TokenLight代表了一种非常务实的技术路线：它没有追求“万能”的逆向渲染，而是聚焦于“够用且好用”的精确控制。其令牌化设计将物理直觉与深度学习黑箱很好地结合了起来，为从业者提供了一个强大且直观的工具。在实际应用中，它最适合用于中等到大幅度的创意布光调整、局部补光、阴影修复和氛围重塑。对于追求极致物理准确性的电影级特效，可能仍需结合传统的3D流程；但对于绝大多数摄影、平面设计、快速概念可视化等场景，TokenLight已经能够提供革命性的效率提升和创意自由度。它的出现，让我们离“在任意照片上随心所欲地打光”这个终极梦想，又近了一大步。