前言

2024年9月18日阿里開源了Qwen2.5一系列模型，及專門針對編程的 Qwen2.5-Coder 和數(shù)學的 Qwen2.5-Math 模型。所有開放權重的模型都是稠密的、decoder-only的語言模型，提供多種不同規(guī)模的版本，包括：

除了3B和72B的版本外，Qwen2.5所有的開源模型都采用了 Apache 2.0 許可證。您可以在相應的模型倉庫中找到許可證文件。此外，本次通義千問團隊還開源了性能不輸于GPT-4o的 Qwen2-VL-72B

具有以下特點:

ollama 官方也第一時間升級支持Qwen2.5 0.5B 、1.5B 、7B 、32B、72B 模型

下面我們就以7B模型給大家部署和演示以下Qwen2.5 模型到底怎么樣。

ollama 版本升級

? 首先我們需要將本地ollama 升級到 最新版本v0.3.11 以便更好的支持最新的模型，我們從ollama 最新版本升級說明也可以看到本次版本對Qwen2.5 模型的支持

? 下載ollama 最新v0.3.11 版本（我們就以windows 版本為案例介紹）

?將下載的OllamaSetup.exe 下載到本地。

檢查本地ollama

? 在安裝ollama 之前我們先檢查一下ollama ?本地環(huán)境的版本.windows cmd窗口中輸入

? ollama -v

? ?顯示是0.3.10 版本

安裝ollama

?將剛才下載的OllamaSetup.exe 雙擊安裝。這個安裝比較簡單，這里就不詳細展開。

模型下載

接下來我們下載最新的qwen2.5 7B instruct模型

我們在windows cmd窗口中輸入

ollama pull qwen2.5:7b-instruct

等待模型下載，下載的模型速度取決您的網(wǎng)絡速度。

使用

使用ollama 命令行窗口推理

? ? 啟動模型

ollama run qwen2.5:7b-instruct

?模型啟動完成，這樣我們就可以實現(xiàn)模型推理了。

我們查看顯卡，qwen2.5:7b-instruct 默認4B量化的模型大概占用 4.7GB顯存 推理速度也還可以。

使用第三方chatbox 來實現(xiàn)推理

? ? ? ? ? 下載chatbox ?套殼軟件。 https://chatboxai.app/zh

? ? ? 下載好chatbox ?配置一下ollama

?點擊保存后，完成chatbox 設置

? 我找?guī)讉€有點難度的問題。

回答正確，沒有翻車。

? 我們的問題 ：

? 同源結(jié)構(gòu)經(jīng)常被引用作為自然選擇過程的證據(jù)。以下所有的結(jié)構(gòu)都是同源結(jié)構(gòu)，除了 (A) 鳥的翅膀和蝙蝠的翅膀 (B) 鯨魚的鰭和人的手臂 (C) 海豚的胸鰭和海豹的鰭 (D) 昆蟲的前腿和狗的前肢

? ?回答的是正確的。

總結(jié)

? ? ? 目前我們使用ollama ?提供的qwen2.5:7b-instruct ?（4B量化）模型在 4060顯卡上推理使用起來還是非常方便了，準確性和推理速度都可以滿足我們市場對模型使用。由于時間關系我這里就沒做詳細展開，據(jù)說它也是支持funcation call ?功能。下期我們分享和其他工具的組合使用，今天分享就到這里，感興趣小伙伴可以留言、點贊、收藏加關注。