基于道客云原生知识库平台的金融合规助手-为银行创新发展注入新动力

本项目旨在基于道客云原生知识库平台快速构建金融合规助手，为银行员工提供高效、便捷的合规查询服务。面对行内GPU资源利用率低、模型人才短缺及数据合规的严格挑战，采用道客云原生知识库平台实现大模型快速落地，全图形化配置管理让业务人员能自助维护知识库。同时，私有大模型部署确保数据隐私与合规，分布式云原生架构提升资源利用率与复用性。多租户自服务能力为用户带来安全、隔离的私有大模型体验，显著增强IT业务响应能力。本案例成功展示了道客云原生知识库平台智能合规助手应用潜力，为银行创新发展注入新动力。

• 希望基于大模型构建面向合规场景的智能合规助手，能够基于行内的各种合规规范流程，为员工提供合规查询。

• 行内现有 GPU 卡都被各个业务应用d占，资源利用率需要提升，并希望能够实现算力资源的复用。

• 当前银行缺乏模型人才和能力积累，希望能够让业务人员自己设计和管理企业知识库的构建。

由于数据合规的要求，必须使用大模型私有化部署的方式，所有数据和模型必须在行内。

基于道客云原生知识库平台的金融合规助手，具备强大的合规信息查询与智能分析能力。

道客云原生知识库平台是一款基于云原生和分布式计算框架的智能问答解决方案，支持多种大语言模型，可构建智能问答应用，配置个性化语料库，提供准确的问答能力；同时，它还提供可扩展的GPU能力和向量数据库，实现高效的文本向量化与存储，并采用相似度匹配提升查询准确性；另外，通过基于Ray的分布式推理，实现与用户的快速互动，使应用与用户交互更加迅捷，图1为道客知识库平台的业务框架。

云原生平台：承载了所有运行时的容器环境。

算力服务层：算力统一纳管平台，提供了一站式管理。

基础设施：主要体现底层物理资源的能力，包括 AI 场景中很重要的 GPU资源，以及依赖的存储和网络等物理资源。

知识库UI：提供用户访问所需的客户端；

业务层：包括有 AIGC-App、AIGC-Fast、AIGC-Manage等自研组件和Nacos、Gateway、Mysql、Redis等外部组件；

接口层：通过 AIGC knowledge Engine 来提供统一的接口。

核心层：提供 Embedding Ray Service 和QA Ray Service 两大服务，都基于Ray的分布式计算框架，多组服务并行。

框架层：由KubeRay和容器集群组成。

基于道客云原生知识库平台的金融合规助手，快速实现了大模型在银行的落地应用，全图形化的配置管理使得业务人员可以自助维护知识库，并基于私有通用大模型与向量化知识库结合快速构建合规助手应用，提供高效的知识检索和问答服务。同时，对资源利用情况进行优化，提高了业务效率，为银行创造了更多的商业价值。在商业模式方面，该项目采用私有化部署方式，确保了数据的安全与合规，满足了银行对隐私保护的需求。通过提供智能化的合规助手服务，项目为银行提供了稳定的收入来源，并建立了长期稳定的客户关系。随着金融行业的不断发展，该项目的应用前景广阔，有望在未来实现更广泛的推广与应用。