Ollama 怎么使用?怎么安装本地模型?

硅基玩家

2025年4月27日

1. 怎么安装Ollama 客户端?

https://ollama.com/ 官网下载客户点即可

 

2. 选择哪家大模型?

目前的大语言模型很像军备竞赛,可能这个月你最强,而下个月竞争对手就超上来,所以是一个动态变化的过程。但是总体而言,以下公司的开源大模型都不错。

  • 微软, phi4
  • Meta, Llama
  • 阿里巴巴, Qwen
  • 谷歌,Gemma
  • Mistral
  • 深度求索,Deepseek

3. 选择什么参数量的大模型?

  • 这个取决于你的显卡配置,尤其是显存容量。
  • 16g显存,一般可选择7b,14b。跑32b有压力。
  • 其他大家可自行测试。

 

4. DeepSeek R1 大模型

  • ollama run deepseek-r1:1.5b
  • ollama run deepseek-r1:7b
  • ollama run deepseek-r1:8b
  • ollama run deepseek-r1:14b
  • ollama run deepseek-r1:32b
  • ollama run deepseek-r1:70b

5. 阿里千问大模型

  • ollama run qwen2.5:7b
  • ollama run qwen2.5:14b

6. 怎么安装

  • ollama run deepseek-r1:14b
    • run后面的数据改成你期望安装的大模型
  • ollama list 命令来查看已经安装了哪些模型。

发表评论