玩转大模型行业应用，且看盘古大模型全栈工程能力展身手【云驻共创】

一键难忘特邀评审专家

全栈领域优质创作者

博客专家认证

2024-04-17 01:45:38

原文：玩转大模型行业应用，且看盘古大模型全栈工程能力展身手【云驻共创】_大模型在工程管理领域的应用-CSDN博客

AI技术在金融和工业领域的应用不断扩展，促进了金融行业的数字化转型和产业升级。AI提供了专属财富管家和工业范式的解决方案，在金融领域的应用包括风险评估和投资建议，而在工业领域的应用则涵盖了数据分析和机器人操作。与此同时，开发者在AI的应用创新中发挥着重要作用，通过编写代码将创意变为现实。GTC cloud 2023 AI专题论坛汇集了众多技术大佬，共同探讨了AI在十大热门领域的应用。

本文介绍了华为盘古大模型在工程方面面临的四个挑战，分别是数据处理、数据质量、跨领域和训练难度。华为通过三年的时间，在多个行业大模型项目中积累了工程能力，并总结出了数据工程套件、模型开发套件和应用开发套件。盘古大模型提供了五类大模型和不同参数量的模型供开发者选择，并介绍了一些增强模型的案例。本文还介绍了大模型数据清洗所面临的挑战，以及华为的大数据计算平台和自动化模型清洗技术的应用。最后，本文讨论了数据标注平台的优化提升和盘古大模型的安全与可信的挑战，并分享了治理大模型的重要性和方法。

一．AI在金融和工业领域的应用

AI技术在金融和工业领域的应用不断扩展，促进了金融行业的数字化转型和工业升级。AI提供了专属财富管家和工业范式的解决方案，在金融领域的应用包括风险评估和投资建议，而在工业领域的应用则涵盖了数据分析和机器人操作。与此同时，开发者在AI的应用创新中发挥着重要作用，通过编写代码将创意变为现实。GTC cloud 2023 AI专题论坛汇集了众多技术大佬，共同探讨了AI在十大热门领域的应用。

GTC cloud 2023AI专题论坛，我们聚焦十大热门领域，汇集众多技术大佬和大家在线交流分享。AI开发生产线model once 0代码玩转AI开发AIGC用技术重塑艺术形态，天成AI求解器，对话就能实现智能建模的AI求解器，巨神智能大机器人。韩国大模型驱动的企业级搜索，让搜索更懂你，玩转大模型行业应用。且看盘古大模型全栈工程能力展身手，宣传行业将A应用于千行百业的核心系统，AI到医药药物研发，实现从马拉松到加速跑。

1.1华为盘古大模型的工程挑战

本文介绍了华为盘古大模型在工程方面面临的四个挑战，分别是数据处理、数据质量、跨领域和训练难度。数据量庞大且处理繁杂，数据质量参差不齐，不同行业和多模态数据都需要处理。模型训练难度大，需要引入大规模分布式训练并解决底层通信和编码问题。应用开发落地困难，需要适配不同的开源模型和API接口。同时还需要解决合规风险和内容版权问题。

华为通过三年的时间，在多个行业大模型项目中积累了工程能力，并总结出了数据工程套件、模型开发套件和应用开发套件。数据工程套件包括数据获取、标注平台、数据清洗等功能，提高了模型训练的效率和数据管理的安全性。通过数据管理平台，可以对数据进行管理和溯源，方便后续算法问题的溯源。

套件提供了向导式和界面化的开发工具，从数据集管理到模型训练、评测、评估，再到模型推理上线，全流程都提供了支持。同时，套件还提供了强化学习和自监督训练等功能，底层接近AI平台层面也有一些亮点，比如容错训练和量化推理。此外，套件还解决了模型部署开发的成本和开发者关心的集成到企业应用的问题，提供了SDK和应用开发平台来实现业务编排和调优调试。最后，套件还提供了数据安全和模型安全的四重防护措施。

1.2盘古工程能力套件和数据标注清洗工程实践

主要介绍了盘古工程能力套件的总结和即将启动的邀测，以及数据标注和清洗工程的重要性。讲者刘威介绍了大模型在训练过程中所需的丰富数据，包括文本、图片、音频视频，并强调了数据的质量和规模对模型的影响。他还介绍了盘古工程在数据标注和清洗方面的工程实践，以及行业中的清洗平台、标注平台和管理平台。

大模型的需要的数据有以下三个特点，大规模、高质量、丰富性。大规模在模型一定的情况下，我们可以提升数据的规模，来提升模型的训练效果。大规模可以理解为我们要让模型多读书，读的书越多它的效果越好。高质量的数据可以让模型高质量的数据可以让模型的可解释性更好。

本方向介绍了大模型数据清洗所面临的挑战，如大数据量、非结构化数据、敏感数据和广告文本等。并介绍了一套数据工程架构，包括采集平台、标注平台、清洗平台和数据管理，以及具体的清洗流程。同时，还介绍了华为的大数据计算平台和自动化模型清洗技术的应用。最后，讨论了数据标注平台的优化提升。

1.3 NLP大模型开发流程及工具

NLP大模型开发的流程和使用的三个工具，包括自监督学习工具、有监督微调和强化学习。模型部署方式，包括纯在线部署和脱敏数据上云部署。

首先其实对于盘古NLP大模型来讲，基础的LLM的能力其实盘古大模型都具备。包括我们最熟知的这些文案生成，或者对话问答相关的内容。当然我们其实在平台上相关的刚刚提到像思考增强能力，以及是很多符号引擎插件执行的能力，我们都可以在平台上体验到。那怎么去针对这样的一些能力和不同的功能点做二次开发，其实我们给大家准备的是三个工具。其实大模型本身的开发流程会比较的通用化，就我们可以通，不管是您是什么样的任务进来，我们可以通过三个工具链都可以去实现相关的开发任务。

第一个工具其实是自监督学习的工具。它的目的其实是为了把这些行业数据快速导入到模型里面去，让模型具备行业或者企业的知识。

在获取这个模型以后，我们可以通过有监督微调的方式，去对不同的任务做相关的指定优化。因为企业可能我的客服部门和我的财务部门，它所需要去执行的任务其实是不一样的。那些任务可以通过一些高质量的已被已经标注过的数据，但是少量且高质量的数据就可以去做相关的优化。可以基于我们通过自监督学习获取到的这样的一个模型做优化，也可以基于我们的基础模型直接去做相关的优化。模型上线以后，通过运行和用户反馈，我们可以通过强化学习的方式做二次的优化，以及是可能包括像安全加固相关的能力，都可以用强化学习来实现。

1.4使用华为盘古应用开发套件构建AM应用的快捷方法

使用华为盘古应用开发套件构建AM应用的方法和能力。华为的盘古大模型已经在多个行业的多个场景下支持AI应用落地。通过SDK和两个平台，开发者可以提高M应用的开发效率。SDK提供了memory和skill模块，帮助大模型记住已回答过的问题和完成特定任务。统一的配置能力和prompt模板可以让开发者屏蔽下层各类模型的调用细节，实现自由分享和传播。编排能力可以使用各种工具和技能解决复杂问题。

我们为开发者提供了一个SDK和两个平台。我们的SDK可以极大地帮助开发者提升开发一个M应用的效率。它包含memory prompt skill，MS planner to这几个模块。

1.5 大模型的数据安全与模型符合人类价值观

大模型使用过程中的数据安全措施，包括数据提取、传输、分级分类管理等。同时讨论了模型的安全性，重点是如何使模型符合人类价值观，包括预训练阶段添加符合道德的数据和价值观的prompt，强化学习阶段的评价和语料优化，以及知识图谱在推理阶段的应用。包括了对用户输入输出的审核和内容监控机制。

总的来说，AI技术在金融和工业领域的应用持续扩展，为数字化转型和产业升级提供了强大的工具。华为盘古大模型在面对工程挑战时，通过积累工程能力和提供多层套件解决方案，为开发者和企业提供了更多的可能性。这些工程能力套件的提供不仅加速了大模型的开发和部署过程，还强调了数据安全和模型符合人类价值观的重要性。

在AI技术的快速发展中，继续探索和解决工程挑战，确保数据的质量和安全性，以及模型的可解释性和道德性，将是不可或缺的一部分。通过技术创新和工程实践，AI将继续推动金融和工业领域的发展，创造更多价值和机会。 GTC cloud 2023 AI专题论坛是一个重要的平台，汇集了技术领域的专家，共同探讨AI在各个领域的前沿应用，推动着AI技术的不断演进，为未来的发展铺平了道路。

...全文