数据库作为关键 PaaS 能力,一直顺应业务和技术发展,不停变更和创新。大模型的兴起,对数据库也有深刻的影响,包括通过大模型赋能的 SQL 改写,智能诊断,问答等一系列能力。同时数据库承担基础数据管理的作用,数据库技术如向量数据库,对解决大模型一些幻觉等也起到关键的作用。大模型和数据库技术相互成就,数据库技术在过去的一年内取得非常大的创新和发展,介绍这块关键技术的发展,相信可以帮助到感兴趣的从业人士以及观众朋友。
在2024 年 6 月 14-15 日举办的 ArchSummit 全球架构师峰会深圳站上,我们邀请到了百度数据库产品总架构师朱洁老师来分享数据库和 AI 的发展史以及最新现状,以及百度在数据库和 AI 结合上的关键进展以及实际案例。在会议召开前,我们采访了朱洁老师,帮助读者提前了解到相关的技术落地细节。
InfoQ:您如何看待大模型时代对数据库技术创新的挑战和机遇?对数据库技术的影响主要体现在哪些方面?
朱洁: 大模型对数据库技术带来的机遇是远大于挑战的。传统数据库技术或者大数据技术处理的还是以结构化数据为主,或者要把非结构化数据先预处理成结构化数据才好处理。但事实上,非结构化数据才是最自然,体量最大的数据。大模型技术让非结构化数据有新的处理方法,放大非结构数据的价值,因此也带来了底层数据库更多的发挥空间。
大模型对数据库的影响主要可以从两个方面看,一个是 DB4AI,主要是向量数据库技术。通过向量数据库解决大模型知识更新不及时,幻觉问题,以及缺乏企业内部知识,也无法进行细粒度安全管理等问题。另一个是 AI4DB,通用大模型技术对数据库本身进行优化,主要方向包括数据库自动运维,SQL 生成,SQL 优化,智能问答等等。
总的来说,数据库和大模型肯定是相辅相成,数据库技术在大模型时代有了更大的想象空间。
InfoQ:在大模型的兴起背景下,数据库技术如何适应和应对新的数据处理需求?
朱洁: 大模型技术让非结构化数据有了新的应用空间,数据库变化比较大的是对文本等非结构化数据处理,以及未来甚至图片,视频等多模的数据。
目前这块发展很快,主要包括文本拆分,怎么 Embedding 多模数据,怎么实现多路召回,以及向量引擎通过 GPU ,以及更好数据组织模式来实现高性价比等。
InfoQ:在数据库行业的技术发展中,大模型技术与人工智能的相互作用是如何发挥作用的?
朱洁: 大模型属于人工智能领域的一个重要组成部分。现在一般说大模型是指生成式 AI 技术(GenAI)。
在数据库领域一直使用 AI 技术,传统上主要是一些预测算法,分类算法这些,解决比如运维的问题。大模型诞生之后,在代码生成,知识处理方面相比传统 AI 技术有了革命性提升,但是在一些传统系统运维,调优方面还是传统算法实现更简单,效率更高。
因此大模型技术更多的是在原来的技术的基础上更深入的解决原来不好解决的代码生成,知识管理等。对原有技术是一个非常大的补充,提升和扩展。
InfoQ:您能分享一些数据库和人工智能领域的创新案例,特别是在大模型时代的实际应用?
朱洁: 这块的技术发展很快,各个厂家都在进行相应的尝试和布局。当前比较创新的数据库和大模型结合的案例和应用有:
智能问答:通过大模型技术解决数据库运维问题,DBA 值班等。
代码生成 & 翻译:自然语言到 SQL(NL2SQL),或者把一种 SQL 翻译成另外一种,典型的 Oracle 翻译成 MySQL 之类。
SQL 优化:改写、注释、纠错、解释,补全
智能问数:自然语言询问,内部通过大模型转成 SQL,查询出结果,然后大模型再总结以报表,报告形式展示出来。
InfoQ:作为百度智能云数据库产品总架构师,您如何看待数据库和人工智能的结合,在实际业务中取得的关键进展?
朱洁: 首先我们的大模型在业界有领先优势,其次是百度智能云在这方面布局很早,也很全。因此我们目前在这块很有竞争力。我们介绍几个最新的关键的成果:
发布了 VectorDB 1.0,向量数据库是企业不可或缺的知识库核心组件,它针对传统知识库问答系统遇到的性能瓶颈、维护挑战及规模限制等问题提供了有力解决方案。全新发布的百度向量数据库 VectorDB 1.0,不仅集成了全面的运维控制和安全防护能力,还兼容了千帆、LangChain 等主流生态系统,能够帮助企业轻松管理数以千万计的文档知识,最大支持百亿向量存储规模以及毫秒级的向量检索速度。同时,相比同类型开源产品,VectorDB 1.0 性能最高提升 10 倍。
发布了数据库智能驾驶舱(Database Smart Cockpit,DBSC),这个服务是利用大模型技术解决数据库运维,安全,智能问答的能力。通过内置的百度文心大模型能力,再加上百度积累的数据库运维知识库等,帮助用户回答云原生数据库 GaiaDB、MySQL、Redis 等数据库产品的各种使用场景复杂问题,以及显著降低异常问题定位时间,以及提升 SQL 优化效率等。目前这个服务在百度内部已经成功帮助 DBA 团队降低超过 50% 的运维工作量。