如何基于一台MacBook搞定企业级大模型常识库部署

1、为什么要在 MacBook 上搭建常识库？

最外围最关键的是咱们手上的文档资料出于安保需要，不能随意上行到云服务，也就无法实践验证常识库的实践成效。另外关于 IT 同窗来说，自己亲手搭建一个完整的打算、能灵敏调整和对接各种不同的模型、评测各种模型不同的体现，也是出于对技术的探求天性使然。

经常使用的 MacBook 性能如下，对大模型经适量化处置（比如：int8）后，可以流利运转。

2、常识库的架构设计

基于一台 MacBook 搭建部署的架构设计如下图，在这套架构设计中，咱们驳回了实力排抢先、并且对企业和学术都友好的国产开源大模型 ChatGLM3-6B。

并驳回了基于 m3e-base 模型的 embedding search RAG 打算。基于这两个模型封装和 ChatGPT 兼容的 API 接口协定；经过引入 One API 接口治理 & 散发系统，构成一致 LLM 接口渠道治理平台规范，并把封装好的接口协定注册出来；搭建与 Dify.ai 齐名开源大模型常识库平台治理系统 FastGPT，成功集私有常识数据源预处置、嵌入检索、大模型对话一体的完整常识库运行流程。

麻雀虽小五脏俱全，最终构成一套既满足商用规范、又能在 MacBook 跑起来的的打算。只管自动水平和实践需求还有必定差距，但至少咱们在不用额外购置显卡或云服务的状况下，以最小老本部署运转、并且能导入实践业务数据（如：设计文档、业务流程文档、名目治理文档、技术分享文档等等）启动实操验证，值得每位工程师都来入手尝试一下。

3、常识库的部署设计

基于 MacBook 的部署打算分为四个关键过程、14个详细步骤，只需一步步实操下去，每位 IT 同窗都可以在自己的 MacBook 上领有属于自己的私有大模型常识库系统，步骤清单如下：

局部步骤可以便捷地经过 Docker 镜像一键部署成功，但本着对细节一杆子插究竟的部署思绪，还是采取了纯手上班业的方法。

原文链接：​ ​​ ​​