基于大模型的云平台智能运维系统-支撑云平台多个应用方向的智能运维管理

系统基于大模型的开发训练方法，完成大模型开发训练环境的搭建，并特别针对企业典型的云平台运维需求，结合领域业务数据完成运维大模型的调试工作，实现了大模型在云平台运维领域的应用。

1、技术路径：基于大模型的云平台智能运维系统以渊亭大模型开发训练平台、大模型数据治理平台为基础，消纳用户已有的运维数据（日志、监控信息、应用信息等），结合渊亭科技的智能模型开发和调优经验，支撑云平台多个应用方向的智能运维管理。

2.技术架构：基于大模型的云平台智能运维系统从下至上，分为基础设施层、资源支撑层、能力供给层、能力生成层和应用服务层。

基于大模型的云平台智能运维系统典型应用场景有运维数据管理、异常告警管理、故障分析、故障预测等。

云平台运维工作是一项繁琐、高要求的工作，除了常规的日常运维服务之外，在当前海量数据场景下，自动发现故障和自动异常检测的需求甚为迫切，如何能极大地简化研发策略配置成本，提高告警的准确率，减少告警风暴和误告，从而提高运维效率是运维工作面临的重大挑战之一。另外，如何解决当前海量数据场景下人工配置和运营告警策略、告警风暴和准确率不高等问题也是运维工作的核心痛点。

本项目由渊亭科技针对同方有云重点运维业务的痛点进行行业大模型建设。具体的，处理大量的云平台运维数据（日志、监控信息、应用信息等），利用开源大模型训练运维基座模型，并结合业务需求，孵化面向不同场景的专业运维大模型，能够进行自动发现故障和自动异常检测，探索了基于运维大模型的智能运营。同时，设计了数据回流机制，能够在运维过程中从海量运维数据中不断进行处理加工和提炼，反哺专业运维大模型，形成数据飞轮。

基于大模型的云平台智能运维系统以渊亭大模型开发训练平台、大模型数据治理平台为基础，消纳用户已有的运维数据（日志、监控信息、应用信息等），结合渊亭科技的智能模型开发和调优经验，支撑云平台多个应用方向的智能运维管理。

基于大模型的云平台智能运维系统从下至上，分为基础设施层、资源支撑层、能力供给层、能力生成层和应用服务层，如下突所示。

（1）向量知识库管理功能：提供一站式的向量库建立手段，能够导入知识图谱、文档等，快速进行向量化，并对向量化细节提供细粒度的调整手段，能够测试和预览向量知识库效果。

（2）向量知识库应用功能：支持多样化的编排模版，实现对话链、溯源等典型场景的快速构建。并能够结合提示词模版支撑高匹配度的领域问答。

（3）数据回流功能：支持将终端/服务器过程监控数据/操作数据/日志数据定期/手动的加密、压缩至训练平台，进行回流处理后，触发大模型再训练/微调，并且支持回流数据的准确溯源。

（4）数据标注功能：提供丰富的数据标注工具，能够对微调数据集进行快速维护，提供任务化的标注管理能力，以支持团队协同标注。

（5）数据集管理功能：实现各类数据集的统一管理。

（6）模型微调功能：提供SFT微调优化能力，支持LoRA、P-Tuning等典型微调算法，并提供可视化的参数调整操作引导。内置模型评估维度，能够自动评估特定角度模型的能力。

（7）模型管理功能：适配多个开源、商用大模型，能够快速基于模型进行应用和微调（如支持），并对调整的模型进行版本化管理。

（8）模型服务功能：支持服务化的发布大模型能力，并且对使用性能进行监控和约束。

（9）集群管理功能：支持对计算资源进行集群化管理，并对资源使用进行细致的监控。

（10）内置基础组件库：包括数据源接入、通用代理、知识库代理、问答链、缓存、提示词模版、定制开发入口等。

（11）自定义插件功能：开发接口，支持第三方业务系统快速接入，作为训练/微调数据集或支撑知识库。

（12）运维应用沉淀：平台结合运维大模型应用需求，内置多种针对运维场景的常用应用，用户可直接引用。

（13）应用编排功能：提供编排引擎能力，支持拖拉拽的可视化能力编排。

（14）提示词库功能：支持提示词模版，并可自定义提示词。支持提示词的创建、优化、评估等细节功能。

• 支持至少10GB级别的大规模数据集的接入，包括连接数据源、加载数据、解析数据、数据处理等能力；

基于大模型的云平台智能运维系统典型应用场景有运维数据管理、异常告警管理、故障分析、故障预测等。

通过对异常数据进行打标、微调，能够自动发现IT系统中的异常行为，并提供及时的警报和响应。利用溯源功能、知识库功能，快速定位异常点，进而完成海量数据精确匹配、时序类别多样性分析和实时处理等工作。

（2）运维故障分析能够快速分析处理多种类型的海量数据，如Trace、Metric和Log等类型，辅助进行故障诊断和分析，形成推测的事件根因，供人工二次复核。结合运维系统其他功能，实现从异常检测到根因定位、故障分类、故障分析和修复建议的全流程自动化处理，提高故障分析效率。

引入正常数据、异常数据，开展运行数据的特征挖掘，聚焦其中的异常因素，形成模型基础认知。在实际问题即将发生前，大模型自主快速的进行提示，通过人机结合的确认审核手段，预测未来事件，防止潜在的故障。

系统运维工作是一项繁琐、高要求的工作，且对可靠性具有很高的要求，基于大模型的云平台智能运维系统可以提高信息化系统运维效率，降低运维成本，增强预测性维护能力，并能实现运维个性化服务。

1.提高运维效率：系统引入运维大模型，自动化处理海量运维数据，进行快速、高质量判断，能够代替运维人员进行大量判断，实现风险的预防、发现、定位和处理，从而大幅提高运维工作的效率。

2.降低运维成本：随着系统复杂化，传统的人工运维成本不断上升。系统通过构建具备自适应性的功能大模型，减少人工维护工作量，进而有效降低这部分成本，是降本增效的有效手段。

基于大模型的云平台智能运维系统-支撑云平台多个应用方向的智能运维管理
2024/7/11 15:54:35	6045

系统基于大模型的开发训练方法，完成大模型开发训练环境的搭建，并特别针对企业典型的云平台运维需求，结合领域业务数据完成运维大模型的调试工作，实现了大模型在云平台运维领域的应用。 1、技术路径：基于大模型的云平台智能运维系统以渊亭大模型开发训练平台、大模型数据治理平台为基础，消纳用户已有的运维数据（日志、监控信息、应用信息等），结合渊亭科技的智能模型开发和调优经验，支撑云平台多个应用方向的智能运维管理。 2.技术架构：基于大模型的云平台智能运维系统从下至上，分为基础设施层、资源支撑层、能力供给层、能力生成层和应用服务层。基于大模型的云平台智能运维系统典型应用场景有运维数据管理、异常告警管理、故障分析、故障预测等。云平台运维工作是一项繁琐、高要求的工作，除了常规的日常运维服务之外，在当前海量数据场景下，自动发现故障和自动异常检测的需求甚为迫切，如何能极大地简化研发策略配置成本，提高告警的准确率，减少告警风暴和误告，从而提高运维效率是运维工作面临的重大挑战之一。另外，如何解决当前海量数据场景下人工配置和运营告警策略、告警风暴和准确率不高等问题也是运维工作的核心痛点。本项目由渊亭科技针对同方有云重点运维业务的痛点进行行业大模型建设。具体的，处理大量的云平台运维数据（日志、监控信息、应用信息等），利用开源大模型训练运维基座模型，并结合业务需求，孵化面向不同场景的专业运维大模型，能够进行自动发现故障和自动异常检测，探索了基于运维大模型的智能运营。同时，设计了数据回流机制，能够在运维过程中从海量运维数据中不断进行处理加工和提炼，反哺专业运维大模型，形成数据飞轮。基于大模型的云平台智能运维系统以渊亭大模型开发训练平台、大模型数据治理平台为基础，消纳用户已有的运维数据（日志、监控信息、应用信息等），结合渊亭科技的智能模型开发和调优经验，支撑云平台多个应用方向的智能运维管理。基于大模型的云平台智能运维系统从下至上，分为基础设施层、资源支撑层、能力供给层、能力生成层和应用服务层，如下突所示。 3.系统功能（1）向量知识库管理功能：提供一站式的向量库建立手段，能够导入知识图谱、文档等，快速进行向量化，并对向量化细节提供细粒度的调整手段，能够测试和预览向量知识库效果。（2）向量知识库应用功能：支持多样化的编排模版，实现对话链、溯源等典型场景的快速构建。并能够结合提示词模版支撑高匹配度的领域问答。（3）数据回流功能：支持将终端/服务器过程监控数据/操作数据/日志数据定期/手动的加密、压缩至训练平台，进行回流处理后，触发大模型再训练/微调，并且支持回流数据的准确溯源。（4）数据标注功能：提供丰富的数据标注工具，能够对微调数据集进行快速维护，提供任务化的标注管理能力，以支持团队协同标注。（5）数据集管理功能：实现各类数据集的统一管理。（6）模型微调功能：提供SFT微调优化能力，支持LoRA、P-Tuning等典型微调算法，并提供可视化的参数调整操作引导。内置模型评估维度，能够自动评估特定角度模型的能力。（7）模型管理功能：适配多个开源、商用大模型，能够快速基于模型进行应用和微调（如支持），并对调整的模型进行版本化管理。（8）模型服务功能：支持服务化的发布大模型能力，并且对使用性能进行监控和约束。（9）集群管理功能：支持对计算资源进行集群化管理，并对资源使用进行细致的监控。（10）内置基础组件库：包括数据源接入、通用代理、知识库代理、问答链、缓存、提示词模版、定制开发入口等。（11）自定义插件功能：开发接口，支持第三方业务系统快速接入，作为训练/微调数据集或支撑知识库。（12）运维应用沉淀：平台结合运维大模型应用需求，内置多种针对运维场景的常用应用，用户可直接引用。（13）应用编排功能：提供编排引擎能力，支持拖拉拽的可视化能力编排。（14）提示词库功能：支持提示词模版，并可自定义提示词。支持提示词的创建、优化、评估等细节功能。 4.系统性能 • 支持至少10GB级别的大规模数据集的接入，包括连接数据源、加载数据、解析数据、数据处理等能力； • 支持加载多种精度（如ﬂoat64、ﬂoat16或int8等）的模型； • 支持使用至少2种常见的微调算法开展微调； • 支持微调后模型保存时间为分钟级； 5.应用场景基于大模型的云平台智能运维系统典型应用场景有运维数据管理、异常告警管理、故障分析、故障预测等。（1）异常告警监控通过对异常数据进行打标、微调，能够自动发现IT系统中的异常行为，并提供及时的警报和响应。利用溯源功能、知识库功能，快速定位异常点，进而完成海量数据精确匹配、时序类别多样性分析和实时处理等工作。（2）运维故障分析能够快速分析处理多种类型的海量数据，如Trace、Metric和Log等类型，辅助进行故障诊断和分析，形成推测的事件根因，供人工二次复核。结合运维系统其他功能，实现从异常检测到根因定位、故障分类、故障分析和修复建议的全流程自动化处理，提高故障分析效率。（3）故障预测引入正常数据、异常数据，开展运行数据的特征挖掘，聚焦其中的异常因素，形成模型基础认知。在实际问题即将发生前，大模型自主快速的进行提示，通过人机结合的确认审核手段，预测未来事件，防止潜在的故障。系统运维工作是一项繁琐、高要求的工作，且对可靠性具有很高的要求，基于大模型的云平台智能运维系统可以提高信息化系统运维效率，降低运维成本，增强预测性维护能力，并能实现运维个性化服务。 1.提高运维效率：系统引入运维大模型，自动化处理海量运维数据，进行快速、高质量判断，能够代替运维人员进行大量判断，实现风险的预防、发现、定位和处理，从而大幅提高运维工作的效率。 2.降低运维成本：随着系统复杂化，传统的人工运维成本不断上升。系统通过构建具备自适应性的功能大模型，减少人工维护工作量，进而有效降低这部分成本，是降本增效的有效手段。 3.增强预测性维护：增强的预测性维护能力，使得设备的可靠性、生命周期得到大大的提升，系统的稳定性也得到增强。

上一篇下一篇