1、安装Ollama

下载地址：www.ollama.com

2、脚本下载模型

ollama run qwen:32b
                    
###拉取模型并运行
(base) **@~ % ollama run qwen:32b
pulling manifest
pulling manifest
pulling manifest
pulling 936798ec2285... 100% ▕███████████████▏  18 GB
pulling 6b53223f338a... 100% ▕███████████████▏ 6.9 KB
pulling 62fbfd9ed093... 100% ▕███████████████▏  182 B
pulling f02dd72bb242... 100% ▕███████████████▏   59 B
pulling e8fe47255a86... 100% ▕███████████████▏  484 B
verifying sha256 digest
writing manifest
removing any unused layers
success
                    
                  

3、测试qwen:32b对话能力

>>> 你是谁？
我是通义千问，由阿里云开发的AI助手。我可以回答各种问题、提供信息和与用户进行对话。有什么可以帮到你的吗？
>>> 你是怎么训练出来的？
我的训练过程涉及到大量的语言数据和复杂的机器学习算法。阿里云的研究人员使用大规模文本语料库来训练我，这个语料库包括互联网上的各种文本数据。在训练过程我的训练过程涉及到大量的语言数据和复杂的机器学习算法。阿里云的研究人员使用大规模文本语料库来训练我，这个语料库包括互联网上的各种文本数据。在训练过程中，研究人员使用了Transformer架构的深度学习模型，这种模型能够理解和生成自然语言。
通过反向传播等优化算法，模型不断调整自身的参数以提高回答问题的准确性和连贯性。同时，还采取了多轮迭代和人工审核的方法来确保答案的质量和适宜性。这样训，研究人员使用了Transformer架构的深度学习模型，这种模型能够理解和生成自然语言。通过反向传播等优化算法，模型不断调整自身的参数以提高回答问题的准确性和连贯性。同时，还采取了多轮迭代和人工审核的方法来确保答案的质量和适宜性。这样训练出来的我，可以提供广泛的知识查询、进行对话交互以及生成各类文本内容。
>>> 查一下今天的天气如何？
很抱歉，作为一个文本交互的AI模型，我没有实时获取当前天气的能力。你可以尝试使用本地的天气应用或者访问像
AccuWeather、Weather.com 或者中国气象局等网站来查询最新的天气信息。如果你告诉我你所在的城市名，我可以帮你生成一个查询天气或者中国气象局等网站来查询最新的天气信息。如果你告诉我你所在的城市名，我可以帮你生成一个查询天气的指令，但请注意，我不能直接显示实时天气数据。

4、测试结论

4.1、这是一个4bit的量化基座模型，在缺少对齐的情况下，表现的推理能力确实比小模型要强很多。

4.2、没有加入代码解释和联网等功能，和商用的完整度上差很多。

4.3、还没有测试chat版本，应该会比现在的效果强一些。

4.4、如果本地部署扩展功能，需要根据实际需要做大量微调和二次开发，如果直接用于生产商用，还是差的比较多。

4.5、经过多轮测试，这个模型占用的显存大约为21G左右，3080、4090显卡就能单卡跑起来，虽然速度不是十分快，但对于研究学习算是已经比较贴合普通个人的啦。