K8s和大模型真的搭吗

  • 电脑网络维修
  • 2024-11-14

编译 | 言征

出品 | 技术栈(微信号:blog51cto)

K8s和大模型真的搭吗?本文抛出了一个疑问,但答案仍有待验证。

1.K8s迎来了新的受众个体

假定一位机器学习钻研人员浏览了一篇钻研论文,并想在PyTorch环境中经常使用基于Python的GPU启动测试。她要求她的工程团队访问一个带有两个GPU的Jupyter笔记本和她的一切库。

“这正是DevOps 10年前所教训的,”独立剖析师Janakiram 3月在KubeCon+CloudNativeCon Europe的一次性对话中示意。

“因此,如今的整个想法是,咱们如何放慢这一进程,并使企业IT能够将基础施带到ML钻研人员、工程师和开发人员可以随时经常使用的水平,以便他们能够极速将自己的想法转化为代码?”

新的人物角色反映了大型言语模型(LLM)对云原生社区的影响,并提出了关于身份和Kubernetes角色的疑问。数据迷信家甚至须要Kubernetes来将他们的模型投入消费吗?

独立剖析师Sanjeev Mohan以为NVIDIA推出的推理微服务Nim就是为Kubernetes精心筹划的Docker容器。

应战性就在于:Kubernetes将转变为深度以数据为中心,这是数据的形态性及频繁变动的特点所形成的。数据在Kubernetes社区中从未施展过如此关键的作用。Kubernetes社区从未须要以这样的形式顺应生成人工智能、模型开发、集成、部署和控制带来的新需求。

假设没有在Kubernetes上部署数据模型的规范方法,未来的上班将须要社区经过新的配件集成和名目来顺应新的“数据角色”。

2.AI如何让K8s变得更弱小?

Kubernetes服务LLMs,那LLM能为K8s做哪些?

但实践上,Kubernetes在人工智能中的作用是什么?数据角色疑问把这件事带到了最前沿。Kubernetes是一个控制平面——是的,这是有情理的。自2014年以来,它不时是DevOps的运行程序架构。

因此,Mohan提出的一个疑问变得愈加关系:终究K8s是服务AI,还是AI服务于K8s?

在KubeCon,咱们看到了很多Kubernetes如何作为人工智能的控制平面。NVIDIA在主题演讲中,他们讨论了调配局部GPU的灵活资源调配。这样可以节俭老本。这就是人工智能的Kubernetes。一切这些开展都启动得很顺利,Mohan说,咱们将看到越来越多的Kubernet成为通用人工智能的控制平面。

但令一方面,LLM怎么能力让K8s愈增弱小呢?Mohan提出了一个十分有想象力的疑问。

他说:“我还没有看到太多这方面的状况,兴许到之后的某一届KubeCon上,咱们将开局看到更高的集成度。”

OpenAI无疑是Kubernetes的盟友,该公司正在经常使用Kubernete来启动和扩展试验规模。

作为当红的人工智能钻研试验室,OpenAI须要深度学习的基础设备,使试验能够在云中或自己的数据中心中运转,并易于扩展。便携性、速度和老本是关键驱动要素。

Oracle在KubeCon的初级副总裁Sudha Raghavan问道,假设没有数据迷信家和数据工程师思索如何性能它,以最有效地经常使用任何配件GPU,Kubernetes将如何成为一切人工智能上班负载的自动选项?

Raghavan也在KubeCon的一个小组讨论会上谈到了这样一种想象,想象中,人们基于每个上班负载的上班变得更容易了,工程师可以性能开箱即用的模板,并了解这些是尚未产生的人工智能上班负载形式,并且有预约义的模板。

因此,任何想做试验的数据迷信家都不用自己学习,而是可以了解云原生计算基金会在其生态系统中为人工智能和ML社区提供的内容。

英特尔放开生态系统副总裁兼总经理Arun Gupta在一个小组讨论会上示意,云原生社区的责任是弥合这一差距。“必定跟客户共情,客户就是数据迷信家。他说,一篇新的云原生人工智能论文处置了这些应战。

微软首席产品经理拉克伦•埃文森(Lachlan Evenson)与古普塔(Gupta)在同一小组中示意,Kubernetes社区中的一个新角色还包含人工智能工程师,他们位于数据迷信家和基础设备工程师或平台工程师之间。

Evenson在小组讨论中指出,人工智能工程师不只须要了解人工智能环球的一切术语,还须要了解如何大规模经常使用这些散布式系统并构建这些新平台。

3.K8s承诺:可扩展、安保

Kubernetes的开创人将Kubernete设计成了有形态的,起初又构建了有形态的技术来与其散布式平台集成。

Evenson说:“这不只限于这个社区,也间接培育了咱们经过K8s社区在该平台上构建的可扩展性。”

“咱们须要提供开源代替品和开源平台,这样那些宿愿开局投资并了解人工智能如何影响其业务的公司,就可以驳回模型,而不用担忧数据控制或安保疑问,并开局在本地环境中对其启动修正和相熟。”

参考链接:

想了解更多AIGC的内容,请访问:

AI.x社区

  • 关注微信

本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载联系作者并注明出处:https://duobeib.com/diannaowangluoweixiu/4725.html

猜你喜欢

热门标签

洗手盆如何疏浚梗塞 洗手盆为何梗塞 iPhone提价霸占4G市场等于原价8折 明码箱怎样设置明码锁 苏泊尔电饭锅保修多久 长城画龙G8253YN彩电输入指令画面变暗疑问检修 彩星彩电解除童锁方法大全 三星笔记本培修点上海 液晶显示器花屏培修视频 燃气热水器不热水要素 热水器不上班经常出现3种处置方法 无氟空调跟有氟空调有什么区别 norltz燃气热水器售后电话 大连站和大连北站哪个离周水子机场近 热水器显示屏亮显示温度不加热 铁猫牌保险箱高效开锁技巧 科技助力安保无忧 创维8R80 汽修 a1265和c3182是什么管 为什么电热水器不能即热 标致空调为什么不冷 神舟培修笔记本培修 dell1420内存更新 青岛自来水公司培修热线电话 包头美的洗衣机全国各市售后服务预定热线号码2024年修缮点降级 创维42k08rd更新 空调为什么运转异响 热水器为何会漏水 该如何处置 什么是可以自己处置的 重庆华帝售后电话 波轮洗衣机荡涤价格 鼎新热水器 留意了!不是水平疑问! 马桶产生了这5个现象 方便 极速 邢台空调移机电话上门服务 扬子空调缺点代码e4是什么疑问 宏基4736zG可以装置W11吗 奥克斯空调培修官方 为什么突然空调滴水很多 乐视s40air刷机包 未联络视的提高方向 官网培修 格力空调售后电话 皇明太阳能电话 看尚X55液晶电视进入工厂形式和软件更新方法 燃气热水器缺点代码

热门资讯

关注我们

微信公众号