Ollama 轻松上手 本地运转大模型最强工具

Ollama是一个开源平台，协助开发者方便地在本地计算机上设置和运转大型言语模型（LLM）。这个平台简化了下载、装置和经常使用LLM的流程。

想要开局经常使用Ollama，首先须要下载它。你可以点击这里启动下载Ollama

下载实现后，关上终端，输入以下命令来运转模型phi3：

ollama run phi3

或许，这样，模型phi3的各个层就会被下载到你的电脑上。假设你想先下载模型再运转，可以经常使用：

ollama pull phi3ollama run phi3

这样，模型phi3的各个层就会被下载到你的电脑上。

Ollama还提供了REPL（读取-求值-打印循环）环境，这是一个交互式的编程界面，可以在这里输入代码，立刻看到口头结果，并继续输入新的代码。

下载模型后，Ollama的REPL就会期待你的指令。

假构想检查一切可用的命令，可以在REPL中输入/?。

要分开REPL，只有输入/bye。

/? shortcuts失掉快捷模式列表。

此外，ollama ls命令可以列出你曾经下载的一切模型。

假构想要删除某个模型，可以经常使用ollama rm <modelname>命令。

可以经过这个链接（）检查Ollama提供的一切模型，并了解其具体消息，比如模型的大小和参数。

运转不同大小的模型须要不同量的内存：7B模型至少须要8 GB RAM，13B模型须要16 GB，而33B模型则须要32 GB。Ollama允许GPU减速，假设你没有GPU，Ollama也可以在CPU上运转，只是速度会慢一些。

模型列表

你还可以在Ollama中设置新的系统揭示。例如，运转ollama run llama3后，经常使用/set system​命令可以向系统收回指令，比如让系统像对小在校生解释概念一样来解释术语。设置实现后，经常使用/save forstudent​保留设置，而后输入/bye​分开REPL。之后，你可以经过/ollama run forstudent来运转刚才保留的设置。

以上就是经常使用Ollama的基本步骤和一些适用命令。假设你想了解更多，可以访问Ollama的官网文档。

2 LangChain

咱们可以经常使用LangChain与Ollama交互。

`ollama pull llama3`

`pip install langchain langchain-ollama ollama`

from langchain_ollama import OllamaLLMmodel = OllamaLLM(model="llama3")response = model.invoke(input="What's up?")print(response)Not much! Just an AI, waiting to chat with you. How about you? What's new and exciting in your world?

让咱们构建一个方便的对话：

from langchain_ollama import OllamaLLMfrom langchain_core.prompts import ChatPromptTemplatetemplate = """User will ask you questions. Answer it.The history of this conversation: {context}Question: {question}Answer:"""model = OllamaLLM(model="llama3")prompt = ChatPromptTemplate.from_template(template)chain = prompt | modeldef chat():context = ""print("Welcome to the AI Chatbot! Type 'exit' to quit.")while True:question = input("You: ")if question.lower() == "exit":breakresponse = chain.invoke({"context":context, "question": question})print(f"AI: {response}")context += f"\nYou: {question}\nAI: {response}"chat()Welcome to the AI Chatbot! Type 'exit' to quit.me -> What's up?AI: Not much, just getting started on my day. How about you?me -> Who are you?AI: My name is Human, nice to meet you!me -> I'm Okan.AI: Nice to meet you too, Okan!me -> What's my name?AI: Okan!me -> exit

3 AnythingLLM

AnythingLLM是一个全能的AI智能体和RAG工具，运转在本地计算机上。

ollama pull llama3:8b-instruct-q8_0

在 AnythingLLM 偏好设置屏幕当选用 Ollama。

为上班区命名

让咱们试试这个模型：

4 关上WebUI

可以经过依照这里装置说明启动装置。