将嘈杂的低分辨率视频转换为高质量视频，为最终用户带来迷人的体验

nvdev 2022-04-14 18:16:51

由于流行病相关的关闭和在家办公的政策，视频会议、音频和视频流以及电信最近出现了爆炸性增长。企业、教育机构和公共部门机构对虚拟协作和内容创建应用程序的需求正在飙升。在线交流的关键部分是视频流，无论是简单的视频通话还是面向广大受众的流媒体内容。同时，这些流是在线通信中网络带宽最密集的部分，通常伴随着噪声和伪影。

为了解决这些视频质量挑战， NVIDIA Maxine 视频效果 SDK提供了基于人工智能的视觉功能，将嘈杂、低分辨率的视频流转换为令人愉悦的用户体验。这篇文章演示了如何使用标准网络摄像头输入运行这些效果，并轻松地将它们集成到视频会议和内容创建管道中。

添加细节并提高分辨率

对于因图像帧的低分辨率而导致的低视频质量， Maxine video Effects SDK 提供了两种基于人工智能的最先进视觉效果：超分辨率和放大。

超分辨率（图 1 ）从提供的输入图像生成具有更高分辨率和更好纹理的优质图像。它提供了全面的增强功能，同时保留了内容。这种视觉效果最好用于无损压缩数据，如 H . 264 。您可以使用此功能将介质缩放 1 . 33 倍、 1 . 5 倍、 2 倍、 3 倍和 4 倍。

In the before/after picture, you can observe increases in both structural details and textures.图 1 。超分辨率功能正在发挥作用

要调整超分辨率效果，请选择其模式：

  • 0 ：建议用于包含编码工件的流和使用有损压缩编码的流。
  • 1 ：应用强大的视觉增强功能，建议用于使用无损压缩编码的流

Upscaler （图 2 ）是一种快速且轻量化的方法，用于提高输入视频的视频分辨率，同时也为图像添加细节。它着重于框架内容的几何结构，并增强其细节。除了更好的图像分辨率外，放大效果还能产生更清晰的图像。

In the before/after picture, you can observe enhanced structural details.图 2 。放大功能正在运行

您可以在[0 , 1]范围内设置 Upscaler 的增强参数：

  • 0 ：在不增强图像的情况下提高分辨率。
  • 1 ：最大图像清晰度和清晰度视觉效果增强。

默认情况下， Upscaler 的增强参数设置为 0 . 4 。

消除网络摄像头视频噪音并减少编码瑕疵

造成或破坏最终用户体验的视频噪音的根本原因有很多。然而，两种最常见的噪声源是网络摄像头噪声和编码伪影。

网络摄像头噪声源的示例包括摄像头传感器类型、曝光或照明级别。在最终用户生成的流的环境中，如果环境照明不好或使用的相机质量较差，则情况尤其如此。这些类型的噪音在很大程度上取决于摄像头中传感器的类型。

视频流中的编码伪影是传输帧所需的带宽限制的结果。有损压缩通常包括丢弃图像中的一些纹理信息以及数据编码。有损压缩标准的常见示例是图像的 JPEG 和视频的 H . 264 。流式传输此媒体时，每单位时间的流带宽称为比特率。

在流式传输环境中，可用于流式传输压缩内容的带宽不是恒定的。这种可变性导致编码器的比特数少于压缩帧所需的比特数，从而产生压缩伪影。压缩工件可以有多种形式，但最常见的形式之一是块状工件。

Maxine Video Effects SDK 的视频去噪（图 3 ）功能使您能够消除网络摄像头流的噪音并保留细节，从而获得更好的最终用户体验。

In the before/after picture, you can observe that camera noise is removed.图 3 。视频噪音消除功能正在发挥作用

此功能有两个具有强度值的变体：

  • 0 ：用于较弱的降噪效果，以确保纹理质量的保持。这是低噪音介质的理想选择。
  • 1 ：对于可能影响纹理质量的大量降噪效果。此变体可以轻松地与放大或超分辨率链接，以添加细节、增强和提高分辨率。

Maxine 伪影减少功能（图 4 ）减少了视频通话带宽下降时遇到的块状伪影。它还减少了ringing和蚊子的噪音，同时保留了原始视频的细节。

In the before/after picture, you can observe that encoding artifacts are rem图 4 。伪影减少功能正在发挥作用

此基于 AI 的功能针对两种模式进行了优化：

  • 0 ：保留低梯度信息，同时减少瑕疵。此模式更适合于更高比特率的视频。
  • 1 ：提供更好的输出流。此模式应适用于具有较低比特率的高质量无损视频。

允许最终用户选择虚拟背景

为了使最终用户能够在既不涉及个人又不分散注意力的环境中参加会议， Maxine Video Effects SDK 提供了虚拟背景功能。

虚拟背景功能（图 5 ）基本上生成了一个遮罩来分割前景，在本例中，是来自流的人。您可以提供任何媒体作为背景，无论是图像还是视频。您还可以实现多个创造性应用程序，例如在同一背景中添加多个用户。例如，如果两位评论员正在谈论一个现场活动，您可以在该活动的现场提要上对这两个评论员进行分段。另一个例子是将用户分割出来，并将其覆盖在计算机的实时提要上。这样，一个或多个用户可以同时实时呈现，同时保持沉浸感。所有这些操作都使用 GPU 提供的并行性，增加了可实时处理的流的数量。

In the picture, a new background is being applied. 图 5 。虚拟背景功能正在运行

虚拟背景功能以两种模式运行：

  • 质量模式：实现最高分割质量
  • 性能模式：实现最快的性能

您还可以使用此功能生成具有可调模糊强度的模糊背景。

连锁视频效果功能

为了处理预压缩的视频或带有噪声的视频，以及提供更高的分辨率，我们建议将 Upscaler 链接到伪影减少或视频去噪，具体取决于使用情况。有关更多信息，请参阅探索 API 。您还可以使用 SDK 打包的UpscalePipeline 示例应用程序获得开箱即用的体验。

在 Windows 和 Linux 上使用容器和安装 Video Effects SDK

NVIDIA 通过 Docker 容器以 SDK 包的形式在 Windows 和 Linux 平台上提供 Maxine Video Effects SDK 。

使用容器的好处是高可扩展性，并且由于减少了部署和采用时间而节省了时间和成本。将容器与 Kubernetes 一起使用提供了一种健壮且易于扩展的部署策略。此外，由于容器的预包装性质，您不必担心容器内的特定安装。

在本文中，我们将重点介绍如何在容器和窗口中使用 Maxine Video Effects SDK 。继续安装之前，请确保满足所有硬件要求。

如果您对 NVIDIA 软件堆栈有丰富的经验，并且希望在裸机 Linux 系统上部署视频效果 SDK ，请参阅Maxine 开始了页面。

在 Docker 容器中使用视频效果 SDK

在容器上安装和利用高性能视频效果 SDK 及其最先进的 AI 模型需要四个步骤：

您需要访问 NVIDIA 图灵、 NVIDIA 伏特或 NVIDIA 安培体系结构生成数据中心 GPU s : T4 、 V100 、 A100 、 A10 或 A30 。

在 Windows 上安装视频效果 SDK

在 Windows 上安装 SDK 是一个简单的过程：

您必须拥有 NVIDIA RTX 卡，才能从 Windows 上 Maxine Video Effects SDK 的加速吞吐量和缩短延迟中获益。要在数据中心卡（如 A100 ）上运行此 SDK ，请使用 Linux 包。

示例应用程序

Video Effects SDK 附带五个示例应用程序：

  • AigsEffectApp
  • BatchEffectApp
  • DenoiseEffectApp
  • UpscalePipelineApp
  • VideoEffectsApp

这些应用程序包含运行 Video Effects SDK 中所有功能的示例代码。要体验这些功能，还可以构建应用程序并使用预构建的 Windows bash 脚本来运行它们。

您可以使用 SDK 的/VideoFX/share文件夹中的build_samples.sh脚本构建应用程序。如果您使用的是 Docker 容器，则这是条目文件夹。

bash build_samples.sh’

该脚本构建示例应用程序并安装一些示例应用程序特定的依赖项。这一步 MIG 需要几分钟的时间。构建后，在构建应用程序的文件夹中，每个应用程序至少可以找到一个 bash 脚本。以下是其中一个应用程序的详细介绍：

#!/bin/sh . ./setup_env.sh VideoEffectsApp \        --model_dir=$_VFX_MODELS \        --in_file=$_VFX_SHARE/samples/input/input1.jpg \        --out_file=ar_1.png \        --effect=ArtifactReduction \        --mode=1 \        --show VideoEffectsApp \        --model_dir=$_VFX_MODELS \        --in_file=$_VFX_SHARE/samples/input/input1.jpg \        --out_file=ar_0.png \        --effect=ArtifactReduction \        --mode=0 \        --show VideoEffectsApp \        --model_dir=$_VFX_MODELS \        --in_file=$_VFX_SHARE/samples/input/input2.jpg \        --out_file=sr_0.png \        --effect=SuperRes \        --resolution=2160 \        --mode=0 \        --show VideoEffectsApp \        --model_dir=$_VFX_MODELS \        --in_file=$_VFX_SHARE/samples/input/input2.jpg \        --out_file=sr_1.png \        --effect=SuperRes \        --resolution=2160 \        --mode=1 \        --show

这是一个引用示例应用程序之一VideoEffectsApp的命令行示例。您可以调整以下参数以体验不同的功能：

  • --effect：选择效果：工件 CTR 导出、超级资源或高级。
  • --mode：在两种模式之间切换： 0 、 1 。
  • --strength：切换放大倍增器增强倍增器： 0 ， 1 。
  • --resolution：用于输入所选介质的目标分辨率。例如，如果要翻倍 720p 介质，请使用 1440 。

在本地运行这些效果时，您可以使用键盘控件切换效果，并通过网络摄像头提要实时体验效果。有关更多信息，请参阅示例应用程序参考。如果您对链接这些效果感兴趣，请继续阅读。最后，如果您有兴趣了解有关批处理和最大化吞吐量的更多信息，请参阅BatchEffectApp示例应用程序。

使用 API 链接多个视频效果功能

链接效果对于许多应用程序来说都非常有趣。这篇文章主要关注如何将两种效果很好地结合在一起：工件减少和放大。另一个例子是为嘈杂的网络摄像头流运行视频噪声消除和超分辨率或放大。您可以选择最适合您的用例的效果。

下面是关于 API 及其用法的更多信息。图 6 显示了使用 Video Effects SDK 函数的高级过程：

  • 创建和配置效果
  • 配置 CUDA 流、分配缓冲区和加载模型
  • 加载数据并运行效果

The process includes the following steps: Create the effect, load the model, and use the effect.图 6 。使用 Video Effects SDK API 的三个简单步骤

下面的视频介绍了这个流程，但是这个流程有很多细节，我们将在后面的文章中讨论。此外，视频还介绍了在 Maxine 虚拟背景下使用 GPU 和 API 详细信息时必须了解的基本知识。本文中的所有代码示例都可以在 SDK 示例应用程序中找到。

视频 1 。创建自己的虚拟背景

创建和配置效果

第一步是创建要使用的效果。在这篇文章中，我们将讨论伪影减少和放大。您可以使用NvVFX_CreateEffect函数创建指定类型的视频效果过滤器的实例。此函数需要效果选择器并返回效果句柄。效果选择器是一个字符串，您可以使用它拾取要创建的效果。

NvVFX_Handle _arEff; NvVFX_Handle _upscaleEff; NvVFX_EffectSelector first; NvVFX_EffectSelector second; NvVFX_CreateEffect(first, &_arEff); NvVFX_CreateEffect(second, &_upscaleEff);

然后，使用NvVFX_SetString函数指定特征的模型位置。

NvVFX_SetString(_arEff, NVVFX_MODEL_DIRECTORY, modelDir); NvVFX_SetString(_upscaleEff, NVVFX_MODEL_DIRECTORY, modelDir);

大多数视频特效 SDK 功能都有模式。如前所述，这些模式本质上是相同效果的两种不同变体。在这种情况下，伪影减少有两种模式，您可以使用NvVFX_SetU32函数设置。对于 Upscaler ，这是一个浮点值，可以使用NvVFX_SetF32函数设置为 0 到 1 之间的任何数字。

int FLAG_arStrength = 0; float FLAG_upscaleStrength= 0.2f; NvVFX_SetU32(_arEff, NVVFX_STRENGTH, FLAG_arStrength); NvVFX_SetF32(_upscaleEff, NVVFX_STRENGTH, FLAG_upscaleStrength);

配置 CUDA 流、分配缓冲区和加载模型

创建效果后，下面介绍如何使用 CUDA 并加载模型。 CUDA 流是一组按照发出操作的确切顺序执行的操作。记住这一点，第一步是创建这个流。您可以使用NvVFX_CudaStreamCreate函数创建此流。

CUstream _stream; NvVFX_CudaStreamCreate(&_stream);

现在已经有了流，请将效果指定给流。您可以通过NvVFX_SetCudaStream函数实现这一点。

NvVFX_SetCudaStream(_arEff, NVVFX_CUDA_STREAM, stream)); NvVFX_SetCudaStream(_upscaleEff, NVVFX_CUDA_STREAM, stream);

CUDA 流已经就位，下面介绍如何移动数据。在本例中，您正在移动图像帧。如果您是 GPU s 的新手，您 MIG ht 会问：“为什么我们要将数据移动到哪里？”

GPU 通常有自己的专用视频 RAM （ VRAM ）。这就像插入系统主板的普通 RAM 一样。拥有专用 VRAM 的关键优势在于，存储在该存储器中的数据处理速度明显快于常规 RAM 上的数据。当我们说“将数据从 CPU 内存移到 GPU 内存”时，我们指的是这两种 RAM 之间的内存传输。

Memory transfer between CPU and GPU memory goes both ways.图 7 。 CPU 与 GPU 缓冲区概述

在使用单一效果的典型场景中，此传输将毫不费力，需要两个 CPU 内存缓冲区和两个 GPU 缓冲区。在这两种情况下，一个用于源，另一个用于已处理的帧。

Memory transfer for single video effect with CPU and GPU memory for source and processed frame.图 8 。在 GPU 和 CPU 上的不同内存缓冲区之间移动数据

当您链接需要两种不同图像像素布局的功能时，会增加一层复杂性。 GPU 上还必须有两个缓冲区，一个用于存储第一个效果的输出帧，另一个用于存储第二个效果的输入。图 9 显示了流程。现在不要担心函数名；我们将在本文后面的“运行效果”部分中对它们进行回顾。

Memory transfer for chained video effects with additional intermediate buffer layer.图 9 。在 GPU 和 CPU 上的不同内存缓冲区之间移动数据，同时考虑像素格式

考虑到这种高层次的理解，下面介绍如何设置管道。设置此管道有两个步骤：分配内存和指定输入和输出缓冲区。

首先，使用NvCVImage_Alloc函数为 GPU 缓冲区分配内存。

NvCVImage _srcGpuBuf; NvCVImage _interGpuBGRf32pl; NvCVImage _interGpuRGBAu8; NvCVImage _dstGpuBuf; // GPU Source Buffer NvCVImage_Alloc(&_srcGpuBuf, _srcImg.cols, _srcImg.rows, NVCV_BGR, NVCV_F32, NVCV_PLANAR, NVCV_GPU, 1); // GPU Intermediate1 Buffer NvCVImage_Alloc(&_interGpuBGRf32pl, _srcImg.cols, _srcImg.rows, NVCV_BGR, NVCV_F32, NVCV_PLANAR, NVCV_GPU, 1); // GPU Intermediate2 Buffer NvCVImage_Alloc(&_interGpuRGBAu8, _srcImg.cols, _srcImg.rows, NVCV_RGBA, NVCV_U8, NVCV_INTERLEAVED, NVCV_GPU, 32); // GPU Destination Buffer NvCVImage_Alloc(&_dstGpuBuf, _dstImg.cols, _dstImg.rows, NVCV_RGBA, NVCV_U8, NVCV_INTERLEAVED, NVCV_GPU, 32);

这似乎是一个复杂的函数，但在较高的层次上，您正在为给定类型的图像帧指定所需类型的缓冲区的基本参数。例如，它是 RGBA 图像吗？每个组件都有 8 位吗？这些位是平面、粗块还是其他格式？有关详细信息，请参阅设置输入和输出图像缓冲区。

其次，使用NvVFX_SetImage函数指定为每个效果创建的输入和输出缓冲区。

// Setting buffers for NvVFX_SetImage(_arEff, NVVFX_INPUT_IMAGE,  &_srcGpuBuf); NvVFX_SetImage(_arEff, NVVFX_OUTPUT_IMAGE, &_interGpuBGRf32pl); NvVFX_SetImage(_upscaleEff, NVVFX_INPUT_IMAGE, &_interGpuRGBAu8); NvVFX_SetImage(_upscaleEff, NVVFX_OUTPUT_IMAGE, &_dstGpuBuf);

最后，加载模型。NvVFX_Load函数也执行相同的操作。它还验证为生效选择的参数是否有效。

NvVFX_Load(_arEff); NvVFX_Load(_upscaleEff);

运行效果

现在管道已经设置好，您可以继续运行效果。将帧从 CPU / GPU 源移动到相应的输入缓冲区。NvCVImage_Transfer函数可用于移动帧， NvVFX _ Run 函数用于运行效果。

// Frame moves from CPU buffer to GPU src buffer NvCVImage_Transfer(&_srcVFX, &_srcGpuBuf, 1.f/255.f, stream, &_tmpVFX); // Running Artifact Reduction NvVFX_Run(_arEff, 0); // Frame moves from GPU intermediate buffer 1 to buffer 2 NvCVImage_Transfer(&_interGpuBGRf32pl, &_interGpuRGBAu8, 255.f, stream, &_tmpVFX); // Running Upscaler NvVFX_Run(_upscaleEff, 0)); // Frame moves from GPU destination buffer to CPU buffer NvCVImage_Transfer(&_dstGpuBuf, &_dstVFX, 1.f, stream, &_tmpVFX));

第一步，似乎有多个运动部件，但只有三个主要步骤：创建效果、设置 CUDA 流以及管理数据流，最后运行效果。

所有三种 Maxine SDK- 视频效果 SDK、音频效果 SDK和增强现实 SDK的设计都类似。您可以将相同的概念应用于音频效果和增强现实 SDK ，只需稍作修改。

将视频效果 SDK 集成到您的应用程序中

如本文所示， Maxine Video Effects SDK 提供了许多 AI 功能，使您能够拍摄嘈杂的低分辨率视频，并向最终用户提供高质量的视频。此外，您可以将多个效果链接在一起，并创建视频管道。要将这些视觉效果应用于视频会议、流媒体或电信应用程序，请参见Maxine 开始了页。让我们知道您的想法或您是否有任何疑问。

阅读原文

...全文
1075 回复 打赏 收藏 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
douyin-favorite-MyLike-main.zip
douyin-favorite-MyLike-main.zip
风光储虚拟同步VSG并离网切换预同步控制仿真（Simulink仿真实现）
内容概要：本文针对风光储混合微电网系统，深入研究了虚拟同步发电机（VSG）技术在并网与离网两种运行模式间进行切换时的关键控制策略——预同步控制，并基于Simulink平台构建了完整的系统仿真模型以验证该策略的有效性。该模型集成了风力发电、光伏发电和储能系统，通过VSG控制算法赋予电力电子逆变器类似于传统同步发电机的惯性和阻尼特性，从而显著增强了微电网在模式切换过程中的动态稳定性与鲁棒性。其中，预同步控制环节是实现无缝切换的核心，它通过实时调节VSG输出电压的频率、相位和幅值，使其在并网开关动作前就与主电网的电压参数达到高度一致，有效消除了并网冲击电流，实现了平滑、无扰动的模式转换。通过仿真结果，可以系统地分析和优化控制器的各项参数，进而验证该整体控制方案的技术可行性与优越性能。; 适合人群：具备电力电子技术、自动控制理论和电力系统基础的专业知识，从事新能源发电、微电网运行与控制、电力系统自动化等相关领域研究的研究生、科研人员及工程技术人员。; 使用场景及目标：①研究风光储一体化混合微电网的能量管理策略与并离网无缝切换控制技术；②深入学习和掌握虚拟同步机（VSG）的工作原理、数学建模及其在逆变器控制中的具体实现方法；③利用Simulink进行复杂的电力系统动态仿真，以验证和评估新型控制算法的动态响应特性和有效性。; 阅读建议：此资源以Simulink仿真为核心实践工具，使用者应紧密结合电力系统的基础理论知识，深入理解VSG的数学模型和控制逻辑，尤其要重点关注预同步环节的控制策略设计，并通过反复调整仿真模型中的各项参数来观察系统的动态响应变化，从而深化对微电网稳定运行机制和高级控制技术的理解。
【顶级EI复现】新扩展移相角下的双有源桥DC-DC 变换器优化控制策略（Simulink仿真实现）
内容概要：本文聚焦于“新扩展移相角下的双有源桥DC-DC变换器优化控制策略”的研究与仿真实现，基于Simulink平台系统地构建了完整的仿真模型，深入探讨了软开关实现、最小电流应力优化及闭环控制策略的设计方法。文章提出一种改进型扩展移相（EPS）调制策略，通过引入扩展移相角有效拓宽软开关范围，提升变换效率并降低功率器件的电压与电流应力。结合KKT最优性条件与分段解析优化理论，实现了软开关与最小应力的协同控制目标，并设计双闭环控制系统以增强动态响应与鲁棒性。研究成果成功复现了高水平EI期刊论文的核心思想，具有较强的学术参考价值与工程应用意义。; 适合人群：电力电子、电气工程及其自动化等方向的研究生、科研人员，以及具备一定Simulink建模能力与电力电子拓扑控制基础的工程技术人员。; 使用场景及目标：①深入理解双有源桥（DAB）变换器的工作机理与先进控制策略；②掌握基于KKT条件的优化控制建模方法；③在Simulink中复现并验证EI级论文提出的控制算法，服务于科研论文撰写、课题研究或实际项目开发； 阅读建议：建议结合文中涉及的EPS调制、软开关条件推导、KKT优化数学建模等内容进行系统学习，重点关注仿真模块的参数设置、控制逻辑实现与波形分析，以全面掌握该优化策略的技术细节与工程实现路径。
AI大模型医学影像诊断智能识别应用方案.pptx
AI大模型医学影像诊断智能识别应用方案.pptx
边缘计算环境中基于启发式算法的深度神经网络卸载策略（Matlab代码实现）
内容概要：本文系统探讨了在边缘计算环境中，如何利用启发式算法解决深度神经网络（DNN）的任务卸载问题，并提供了完整的Matlab代码实现方案。文章首先分析了边缘计算环境下DNN推理所面临的关键挑战，如计算资源受限、通信延迟敏感以及能效约束等；在此基础上，构建了以最小化任务延迟、系统能耗与经济成本为核心的多目标优化模型，并详细阐述了基于贪心算法、遗传算法、粒子群优化（PSO）等典型启发式算法的卸载决策机制。通过对多种应用场景的仿真实验，对比评估了不同算法在任务完成时间、资源利用率和能量消耗等方面的性能表现，验证了所提策略在提升系统整体效率方面的有效性与优越性。文档还包含了Matlab仿真环境搭建、参数配置说明及结果可视化方法，为相关研究提供了可复现、可扩展的技术框架。; 适合人群：具备一定计算机网络、边缘计算、人工智能或优化理论基础的研究生、科研人员及工程技术开发者，特别适用于从事DNN模型部署、边缘智能、任务调度与资源管理等相关领域研究的专业人士。; 使用场景及目标：① 研究边缘计算中深度学习模型的高效执行与部署策略；② 学习并实现基于启发式算法的计算任务卸载与资源协同优化方法；③ 利用Matlab平台进行智能算法仿真、性能评估与科研原型开发，支撑学术研究或工程实践。; 阅读建议：建议读者结合提供的Matlab代码逐章节深入阅读，重点关注问题建模、算法设计与仿真实验部分，动手运行并调试代码以加深对卸载机制与优化过程的理解，同时可根据实际应用场景对算法参数、目标函数或网络拓扑进行定制化改进与拓展研究。
NVIDIA 企业开发者社区

1,422

社区成员

1,430

社区内容

发帖
与我相关
我的任务
社区描述
NVIDIA 开发者技术交流
人工智能 企业社区
社区管理员
  • nvdev
  • 活动通知
  • AI_CUDA_Training
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章