关于大模型在企业级运行中的选用疑问不懂回复

​ “企业级运行和平时学习是两回事，千万不能一概而论”

在前面的​ ​千万不要为了浪费老本而选用小模型，特意是开源模型​ ​这篇文章中，便捷说明了为什么尽量不要选用小模型，而后文章上方有些评论，或许感觉作者说的都是废话，或许模型不好间接换就行了。

但理想上作者以为这些都是站在纯正的技术角度或许说把企业级运行想的太便捷了。

大模型在企业级运行中面临的疑问

很多技术人员都习气站在技术的角度来思索疑问，以为某项技术不好换一个就好了；又或许由于某些要素造成某些物品不能用。比如说，有些政府单位或银行保险部门还在经常使用xp系统和jsp做开发。

所以很多人就以为政府单位的系统很拉垮，或许自己公司的技术经理脑子有疑问，选的都是什么架构和技术栈；包含作者自己在前两年也是这种想法。

但随着上班阅历的参与，以及看待疑问角度的扭转，如今发现一个名目真的没那么容易给做起来，做好；它会遭到多个方面的影响，由于各种各样的要素或许会造成想的是一回事，做的是另一回事。

友谊揭示一下，看这篇文章首先要抛开技术至上的理念，要从企业经营，产品，老本，技术等多个角度来看待疑问。

如今从实践案例的角度来思索疑问，假设某一天你和好友合伙开公司，而后想做一款基于大模型的产品；而后由于初创企业，资金和人力都有限，不可间接装备完善的企业架构，比如说名目经理，产品经理，技术担任人，再加上其它的行政，财务等等。

或许很多时刻都须要一人表演多个角色，又是名目经理，又是技术经理，同时还须要担任企业的反常经营。

如今假设你是技术经理，让你担任这款大模型运行的技术架构，以及业务虚现；这时你应该怎样做？

前期的须要采集与剖析，以及产品经理把需求产品化的环节就不说了；如今产品经理间接给你一份产品的具体设计打算，而后让你基于这个打算做一个技术评价，以及一个能落地的技术打算。这时你须要处置哪些疑问？

首先，你要评价这个产品在技术上能否可行，也就是说依托现有的技术才干能否成功产品的配置；而后在技术可行的前提下，怎样设计系统架构，不同的配置模块怎样拆分；这时你思索的不只仅只是技术的成功疑问上；还同时须要思索后续的配置更新，产品上线之后的稳固性，自己团队的技术实力。

前端技术栈的选用，后端技术栈的选用，各种两边件的选用；而后能否会有安保性疑问，合规性疑问，隐秘性疑问，行业要求，政府规章疑问等等。

等这些疑问都搞定之后，再来说关于大模型的选用，毕竟做的就是基于大模型的下层运行。

关于大模型的选用普通有以下几种状况：

自己开发大模型，这种对守业公司来说基本可以丢弃，除非你就是想做大模型服务

经常使用第三方模型，这又有几种状况，是经常使用一些大模型服务商提供的大模型接口，还是搞几个开源模型。

选用大模型服务商的模型，须要思索几个个疑问，你这个运行能否有隐秘性要求；比如数据不能上行到第三方模型服务；只能放在本地， 这时大模型服务商就可以间接丢弃了，只能选用开源模型本地部署。

其次，开源模型服务商的接口多少钱疑问；比如有些接口调一次性几毛钱就没了；而在开发测试阶段，每天都要花几百块钱甚至几千块钱的接口调用费；这还不包含上线之后或许面临的少量用户调用带来的渺小老本。

由于普通状况下，产品上线前期很难赚到钱，这时就须要公司的资金做允许。

假设不可承当渺小的资金老本，这时只能退而求其次去选用一些多少钱廉价，但性能或许并没有那么好的模型服务商。

这时，你感觉模型不好用，间接换一个就行了，有这么容易吗？ 只管从技术的角度来说换一个模型很便捷，也就是换一个接口而已。

再有，关于大模型本地部署的疑问，大模型本地部署须要少量的算力，而算力疑问怎样处置？

是自己买GPU组建机房，还是租用云算力服务？

自己组建机房就须要有专业的团队来担任机房的稳固经营和配置更新；租用云算力服务就须要面临渺小的资金压力；这时应该怎样选用？

普通状况下，选用云算力服务必需会比自己组建机房老本要低的多；因此租用云算力服务是一个比拟好的选用。

ok，如今云算力服务租上去了，要本地部署大模型；这时选用什么样的大模型做本地部署？

是选用配置垂直化的小模型，还是选用参数量渺小的弱小开源模型？

选用参数量渺小的弱小开源模型就象征着单台算力机不可允许大模型的稳固运转，这时就须要驳回多台算力机并行计算的模式来成功；但大模型由于其体量渺小，而且运转环节中须要面临各种各样的疑问。

因此，人力运维就很难成功，因此就须要有完整的智能化运维系统；这个系统哪里来？自己开发，还是购置第三方的系统？ 第三方系统能满足你的所有需求吗？ 假设不能该怎样办？

还有，假设选用配置垂直的小模型，可以启动单机部署，但你这单机模型的运维怎样搞？ 所有靠人工吗？

假设是前期开发测试阶段，由于规模不大靠人力还能扛的住；但上线之后呢？假设面临每天几万，甚至几十万的访问量，单台机器能扛的住吗？

假设不行，大模型集群部署该怎样搞？ 是便捷的多买几台机器而后把模型复制过去就行了吗？

怎样保障某台机器突然挂掉造成业务系统受影响，怎样做到不同机器之间的被动切换？

由于节假日或许某些要素造成系统压力突然增大，怎样在最快的状况下让系统智能扩容，应答流量洪峰。

当然，看到这里或许有人会说咱们初创企业没有那么大的流量，这些都是有些规模的企业才须要思索的疑问。

只管话是这么说，但即使是小企业在产品上线之后，只需产品不是特意差，每天的用户量也会有一局部吧？ 哪怕只须要三五台，甚至十来台机器部署大模型，而且还有保障业务的稳固运转，这时全靠人力运维，技术人员会有多累？能保持的住吗？ 并且还要担任新配置的开发和测试。

本地部署大模型就须要面临着渺小的运维老本，技术老本和算力老本；经常使用第三方模型就须要面临着渺小的接口调用老本；这还是在没思索各种异常状况的理想形态下。

而且，你引入的技术种类越多，也就象征着你的技术老本越高；或许某些技术还须要从新学习。这也象征着上线之前面临的危险就越大；毕竟不可保障新技术带来的稳固性。

或许你会说，咱们公司不缺钱，这些服务间接买就行了；那关于有钞才干的企业，作者只能留下艳羡的泪水。

总之，对企业级运行来说，它不是学习用的demo，这个不好换那个；再换之前你须要思索技术，资金，稳固性，危险等多个角度去思索疑问。

所以，假设说你是技术担任人，你会怎样做？怎样平衡技术，老本，危险，以及各种各样的疑问？

原文链接：​ ​​ ​​