最近公司在推广自己的大模型平台，我也就顺势研究了一番，包括RAG、精调、开源、多模态内容。

2024阿里云云栖大会 有50%篇幅着重介绍大模型，我也受益匪浅。

发现 ollama 能很容易本地部署大模型，也能轻易运行通义的开源版本 qwen2.5.

下面是步骤：

1. 下载ollama https://ollama.com/download
2. 命令行加载大模型 https://github.com/ollama/ollama?tab=readme-ov-file#model-library
3. 或者加载千问 https://github.com/QwenLM/Qwen2.5?tab=readme-ov-file#-run-locally
4. 这时候可以命令行直接问，或者restapi来请求接口

这里是千问的文档，讲的很好 https://qwen.readthedocs.io/zh-cn/latest/

关于我

国 wei (Eric) Github

扫码加入独立开发微信群-二维码经常更新

关注公众号 开发副业，闲谈代码人生