Skip to content

Commit

Permalink
Add a blog and update its structure
Browse files Browse the repository at this point in the history
  • Loading branch information
windsonsea committed Jan 2, 2025
1 parent 6430f5d commit 308ed38
Show file tree
Hide file tree
Showing 14 changed files with 178 additions and 86 deletions.
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
# 金融行业迎来大模型时代,算力基建成决胜关键

![图片](./images/cp01.png)
![图片](../images/cp01.png)

为了在金融行业构建自主、安全、稳定、强大的算力基础,「DaoCloud 道客」作为浦发银行科技合作共同体的成员,承办了此次算力与大模型产业研讨会,邀请了金融行业的专家、浦发创新社区成员和大模型行业专家共同交流,探索算力服务的新模式。

Expand All @@ -20,7 +20,7 @@

在面对银行业算力瓶颈时,一方面可以在满足信创的情况下运用云原生技术来承接 AI 的冲击,另一方面也建议金融企业可以考虑将 **金融与算力基建结合** ,共同拓宽算力赛道,这也不失为是一个值得期待的未来方向。

![图片](./images/cp02.png)
![图片](../images/cp02.png)

## 浦发的 “热带雨林”

Expand All @@ -34,7 +34,7 @@

在实践过程中,我们面临诸多挑战,包括数据私密性和安全性、知识切片方式、算力调度能力、算法优化效果,以及大型模型的幻觉等问题,这些都会影响到最终的效果。然而,智能化的发展道路是明确的。 **面对新事物的出现,我们常常会高估它的短期影响,而低估它的长期发展。** 在 AI 发展的时代浪潮中,我们深感荣幸能与合作伙伴携手并进,在大模型领域不断探索创新。

![图片](./images/cp03.png)
![图片](../images/cp03.png)

## 大模型的生命力

Expand All @@ -46,15 +46,15 @@

徐总表示人的认知其实限制了自身的发展。条条大路通罗马,解决方法不唯一,大模型没有所谓最强,如何让这个模型适应不同的人,让每个人都可以到达罗马才是大模型赋予社会更深的意义。 **大模型的生命力源自于对开放问题的适配,帮助企业在已知中探索更多的未知。**

![图片](./images/cp04.png)
![图片](../images/cp04.png)

## 行业化和垂直化是大模型未来方向

四川天府银行的科技研发部负责人沈总给大家带来了分享,在天府与「DaoCloud 道客」合作金融业务容器化的基础上,逐步将天府的科技金融能力升级并与北大合作,研发了 CodeShell 代码大模型。天府通过一个顶尖的人工智能团队,搭配完全自主知识产权的大模型,可以深度定制、私有化部署,满足自有金融的业务理解和场景落地,当优质的公开数据被消耗完了之后, **巨大的企业私有数据更值得被深入挖掘** ,基于企业数据安全、银行合规性、提高大模型效率和可持续性等原因, **大模型行业化、垂直化的深度定制一定会成为未来的发展方向之一**

目前 CodeShell 大模型直观的优势在于精通金融知识,且对天府银行所有规章制度和产品管理都很了解,也对于现有银行的客户们非常熟悉,这样的专业性大模型对于企业日常的工作提效是非常明显的。天府银行也希望不断在大模型实践中摸索前行,争取在 AI 时代依然站在前沿。

![图片](./images/cp05.png)
![图片](../images/cp05.png)

## 银行信创的自主可控

Expand All @@ -70,7 +70,7 @@
宇信科技信创业务部解决方案总监管汉表示:
**整体架构设计上应用、数据和技术架构需要有对应关系,将复杂的事情拆分成小颗粒,简单化,才能更好的支撑科技金融的业务场景。**

![图片](./images/cp06.png)
![图片](../images/cp06.png)

## 圆桌讨论

Expand All @@ -88,7 +88,7 @@
蜚语:作为一家专注软件开发和代码安全的企业,我们的视角更关注大模型对于代码的应用,它可以做一些基础的修复和撰写,但目前基于输入的窗口是非常有限,而实际项目的代码行几万甚至几百万,很难直接通过大模型直接输出或者归纳整理。同时,当下大家对于大模型替代人的工作都有一些恐慌,但是当你学会尝试掌握大模型的时候,其实对应了现在大家很流行的一句话:
**质疑它、理解它,成为它。我们与 AI 关系也会是互相成就。**

![图片](./images/cp07.png)
![图片](../images/cp07.png)

最后,通过本次大会,「DaoCloud 道客」希望能够更多元、开放的与算力生态圈的同僚们共同搭建一个跨界交流的平台,与各界专家一起深入讨论算力和大模型相关的技术,商业模式和投资机会,相信大家对于 AI 算力大模型的思考远不止这些,如果有更多想法想与我们沟通探讨。欢迎大家来报名参加 3 月 28 日 2024 DaoCloud 算力品牌发布会。

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,7 @@

> 文章转载自 [AI 科技评论](https://mp.weixin.qq.com/s/Q8PIn0FOuXkOT1TiIOuDaA)
![图片](./images/transformer01.png)
![图片](../images/transformer01.png)

非 Transformer 面临的共同考验依然是证明自己的天花板有多高。

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -15,7 +15,7 @@ hide:
最近,国家级专精特新“小巨人”企业——上海道客,联合行业伙伴发布了“d.run 算力一体化方案”。这个方案包括上海、合肥等地的算力中心服务,
算法开发、模型微调等模型开发工具以及智能问答、流程编排等应用开发工具,为用户提供一个 AI 算力生态平台。

[![解放日报头版](./images/profit01.png)](https://www.shobserver.com/staticsg/res/html/journal/detail.html?date=2024-04-02&id=370048&page=07)
[![解放日报头版](../images/profit01.png)](https://www.shobserver.com/staticsg/res/html/journal/detail.html?date=2024-04-02&id=370048&page=07)

## AI 基础设施

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -7,7 +7,7 @@ hide:

> 转载自 [databricks](https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm)
![dbrx blog header](./images/dbrx01.png)
![dbrx blog header](../images/dbrx01.png)

今天,我们很高兴向大家介绍 DBRX,这是由 Databricks 创建的一种开放的通用 LLM。
在一系列标准基准测试中,DBRX 在已建立的开放 LLM 中树立了新的技术水平。
Expand All @@ -21,7 +21,7 @@ DBRX 可以以每个用户每秒 150 个 tok 的速度生成文本。我们的
训练 MoE 模型的 FLOP 效率提高了约 2 倍。
从头到尾,我们的 DBRX 整体配方(包括预训练数据、模型架构和优化策略)可以在几乎 4 倍的计算资源下达到与我们上一代 MPT 模型相同的质量。

![general knowledge infographic](./images/dbrx02.png)
![general knowledge infographic](../images/dbrx02.png)

图 1:DBRX 在语言理解(MMLU)、编程(HumanEval)和数学(GSM8K)等方面超越了已建立的开源模型。

Expand Down Expand Up @@ -179,7 +179,7 @@ GPT-3.5 Turbo、GPT-4 Turbo API 的最新版本在一组长上下文基准测试
Mixtral 是 MoE 模型实现的改进 Pareto 前沿的另一个点:它比 DBRX 更小,因此在质量方面较低,
但在推理吞吐量方面更高。Databricks 基础模型 API 的用户可以在我们优化的模型服务平台上每秒看到 DBRX 达到 150 个 tok 的速度,使用 8 位量化。

![dbrx inference efficiency ](./images/dbrx03.png)
![dbrx inference efficiency ](../images/dbrx03.png)

图 2. 在我们优化的服务基础设施上使用 NVIDIA TensorRT-LLM 以 16 位精度进行各种模型配置的推理吞吐量。
模型在整个节点上以张量并行方式运行。输入提示包含大约 2000 个提示令牌,我们生成 256 个输出令牌。每秒生成一个新的用户。
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -8,15 +8,15 @@

问世以来,Kimi 就在不断“吊打”国内各大厂 AI 模型。

![图片](./images/after01.png)
![图片](../images/after01.png)

根据券商监测数据,截止 3 月 25 日,Kimi 的网页端、APP 端的用户 DAU(Daily Active User,日活跃用户数量)突破历史新高,分别达到了 79 万和 54 万。叠加小程序用户量,全端总 DAU 显著大于 225 万,或已超越百度(BIDU.O/9888.HK)旗下大模型文心一言的 233 万。

而半个月之前,3 月 10 日,Kimi 的全端 DAU 刚刚突破 120 万人。但其实早在 2 月,Kimi 的用户访问量就已达到 305 万,相较 1 月超翻倍增长。

与此同时,百度的文心一言和阿里(BABA.N/9988.HK)旗下的通义千问两大 TOP2 玩家,用户访问量则大幅下滑,降幅分别达到 33.42%与 45.05%。

![图片](./images/after02.png)
![图片](../images/after02.png)

数据屡破新高下,Kimi 的一举一动也被大厂关注并模仿。

Expand Down Expand Up @@ -76,13 +76,13 @@ Kimi 的无损长上下文窗口的方案,是在逐字阅读全文后给出答

正如马斯克近日发言,升级技术路线的方法,不是与竞争对手比较,那就太简单了。应是不断挑战物理极限。

![图片](./images/after03.png)
![图片](../images/after03.png)

超越百度等大厂,或许并非 Kimi 的目标。下一步扩张,月之暗面指向了海外。

目前,月之暗面正在对外招聘国内/国外效果广告设计师。除国内广告平台设计外,这一岗位,还需承担公司产品在海外各大广告平台,如 Google, Meta, Tiktok 等广告创意设计。

![图片](./images/after04.png)
![图片](../images/after04.png)

同时,月之暗面也在补足运营短板。

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -81,7 +81,7 @@ LLM 在大规模数据集上进行训练,接受一系列可能很长的提示

预测性人工智能旨在预测和分析现有模式或结果,如分类、聚类、回归、目标检测等。而生成性人工智能则致力于创造新的原创内容,例如大型语言模型(LLM)、RAG 等。因此,支持预测性和生成性人工智能的算法和技术可能存在显著差异。

![云原生人工智能](./images/ai01.png)
![云原生人工智能](../images/ai01.png)

> 图 1 云原生人工智能
Expand All @@ -106,7 +106,7 @@ LLM 在大规模数据集上进行训练,接受一系列可能很长的提示

图 2 展示了这些支持机制在不同工具和技术之间的对应关系。

![应用工具和技术](./images/ai02.png)
![应用工具和技术](../images/ai02.png)

> 图 2 应用工具和技术
Expand Down Expand Up @@ -160,7 +160,7 @@ LLM 在大规模数据集上进行训练,接受一系列可能很长的提示

值得注意的是,云原生人工智能(CNAI)所面临的挑战因用户角色的不同而有所差异。尽管云原生提供的灵活、可扩展平台非常适合承载 AI 工作负载,但 AI 的规模化和延迟要求带来了挑战,同时也揭示了云原生技术中的不足,并为技术创新提供了机遇。我们在端到端的机器学习(ML)管道的背景下审视这些问题,这些问题在文献中通常被称为 MLOps。传统的时间与空间、并行性与同步性的权衡问题再次浮现,暴露出易用性方面的不足。概括来说,机器学习生命周期包括以下几个阶段:

![机器学习生命周期](./images/ai03.png)
![机器学习生命周期](../images/ai03.png)

> 图 3 机器学习生命周期
Expand Down Expand Up @@ -456,7 +456,7 @@ OpenLLMetry 是一个基于 OpenTelemetry 构建的项目,为 LLM 的可观测

包括 CNCF、LF AI & Data 在内的多个 Linux 基金会(LF)组织,以及 AI Alliance 等合作伙伴,为 AI 项目提供了一个中心,AI 和云工程师都可以利用。现有工具,如 Cloud Native Landscape,为 CN 生态系统提供了宏观视角。以下图表列出了按功能领域分组的已建立和不断发展的项目。

![机器学习工具与任务思维导图](./images/ai04.png)
![机器学习工具与任务思维导图](../images/ai04.png)

> 图 4 机器学习工具与任务思维导图
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -29,7 +29,7 @@ ClearML 北美首席营销官兼总经理 Noam Harel 表示:

部署生成式 AI 的最大担忧是行动过于仓促并且重要事项考虑不足(例如,让错误的商业应用场景优先)。第二个担忧是由于缺乏执行力而进展太慢。

![figure 1](./images/survey01.png)
![figure 1](../images/survey01.png)

图 1:96% 的企业计划扩大其 AI 算力

Expand All @@ -40,7 +40,7 @@ ClearML 北美首席营销官兼总经理 Noam Harel 表示:
74% 的受访者认为,将算力和调度功能放到一个统一的 AI/ML 平台上是有价值的(而不是将一个个孤立单点方案拼凑成 AI 基础设施技术栈)。
但只有 19% 的受访者真正拥有支持查看和管理队列中作业并有效优化 GPU 利用率的调度工具。

![figure 2](./images/survey02.webp)
![figure 2](../images/survey02.webp)

图 2:74% 的受访者认为将算力和调度功能放到一个统一的的 AI/ML 平台上是有价值的

Expand All @@ -58,7 +58,7 @@ ClearML 北美首席营销官兼总经理 Noam Harel 表示:
为了解决 GPU 缺乏的问题,约 52% 的受访者在 2024 年积极寻找低本高效的 GPU 替代品用于推理,而用于训练的这一比例为 27%,这标志着 AI 硬件使用的转变。
另外,20% 的受访者表示对低本高效的 GPU 替代品感兴趣,但还找不到替代品。

![figure 3](./images/survey03.webp)
![figure 3](../images/survey03.webp)

图 3:52% 的受访者表示在 2024 年积极寻找低本高效的 GPU 替代品用于推理

Expand All @@ -71,7 +71,7 @@ ClearML 北美首席营销官兼总经理 Noam Harel 表示:
超过一半的受访者计划在 2024 年使用 LLM(LLama 模型和类 LLama 模型),其次是在 2024 年商业化部署嵌入式模型(BERT 和相关模型)(26%)。
缓解算力挑战对于实现各自的愿望至关重要。

![figure 4](./images/survey04.webp)
![figure 4](../images/survey04.webp)

图 4 :超过一半的受访者计划在 2024 年使用 LLM(LLama 和类 LLama 模型)

Expand All @@ -83,7 +83,7 @@ ClearML 北美首席营销官兼总经理 Noam Harel 表示:
有 53% 认为 GPU 资源利用率在 51% 到 70%,只有 25% 认为他们的 GPU 利用率达到 85%。
而仅有 7% 的企业认为他们的 GPU 基础设施在高峰期的利用率超过 85%。

![figure 5](./images/survey05.webp)
![figure 5](../images/survey05.webp)

图 5:15% 的受访者表示可用和已购买的 GPU 中只有不到 50% 在使用

Expand All @@ -95,7 +95,7 @@ ClearML 北美首席营销官兼总经理 Noam Harel 表示:

几乎所有高管(95%)都表示,拥有和使用外部开源技术解决方案对他们的组织很重要。

![figure 6](./images/survey06.webp)
![figure 6](../images/survey06.webp)

图 6:96% 的受访企业目前或计划在 2024 年定制开源模型

Expand Down
File renamed without changes.
Loading

0 comments on commit 308ed38

Please sign in to comment.