预料之中的尺寸 预料之外的成果 GLM4模型开源

当天智谱开了GLM-4-9B的模型，不是6B，是9B。

一共开源了四个模型，Base版本模型（GLM-4-9B）、Chat版本模型（GLM-4-9B-Chat和GLM-4-9B-Chat-1M）和多模态模型（GLM-4V-9B-Chat）。

其中，模型为多言语模型除了允许中文、英文之外，还允许日语，韩语，德语在内的26种言语；Chat系列模型允许网页阅读、代码口头、自定义工具调用（Function Call）的才干；GLM-4V-9B模型允许中英双语多轮对话才干。

Github:https://huggingface.co/collections/THUDM/glm-4-665fcf188c414b03c2f7e3b7

模型说明

GLM-4-9B模型的结构与GLM-3-6B模型结构分歧，重要修正为模型层数、词表大小、允许更长的高低文。

模型的License还是收费学术钻研、商业须要注销，但必定遵守关系条款和条件，与GLM3分歧。

成果说明

成果一句话总结，片面上游Llama-3-8B模型，片面上游上一代ChatGLM3-6B模型。 （这让我愈加等候过两天行将开源的Qwen2系列模型的成果啦，开源真的越来越好了）

上方成果来自于官网Github成果截图。

在Base和Chat模型上，GLM-4-9B均优于Llama-3-8B模型。

1M模型上启动海底捞针，成果全绿。

工具调用上，也是优于Llama-3-8B模型。

最后是GLM-4V-9B多模态模型成果，片面上游前一阵爆火的面壁MiniCPM-Llama3-V2.5多模态模型 （毕竟斯坦福都来抄） 。

如今这些榜单的成果只管可以展现进去必定才干，但我还是更置信对战榜单，前面不知道lmsys上会不会有GLM-4-9B-Chat的成果，实在场景中PK一把，看看谁弱谁强。

极速调用

间接transformers走起，以GLM-4-9B-Chat模型为例。

import torchfrom transformers import AutoModelForCausalLM, AutoTokenizerdevice = "cuda"tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat",trust_remote_code=True)query = "你好"inputs = tokenizer.apply_chat_template([{"role": "user", "content": query}],add_generation_prompt=True,tokenize=True,return_tensors="pt",return_dict=True)inputs = inputs.to(device)model = AutoModelForCausalLM.from_pretrained("THUDM/glm-4-9b-chat",torch_dtype=torch.bfloat16,low_cpu_mem_usage=True,trust_remote_code=True).to(device).eval()gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 5}with torch.no_grad():outputs = model.generate(**inputs, **gen_kwargs)outputs = outputs[:, inputs['input_ids'].shape[1]:]print(tokenizer.decode(outputs[0], skip_special_tokens=True))

本文转载自​​，作者：​​