如何选择适合自己的LLM

open llm leaderboard

open llm leaderboard
网址如上所示，我们可以进入一个LLM公开排行榜。页面如下图所示

按照排名先后，将LLM按照顺序进行排列。右侧的Average是在各个任务上的平均表现。右侧IFEval等是常见的用来评估LLM性能的一些任务。

进行选择 Advanced Filters

随后点击进行选择，首先需要选择好模型的大小，这个是最重要的指标，根据自身的硬件性能来决定。一般也同时会再选择上Only Official Providers，意味着只用官方版本的LLM。

筛选完之后再下方便会出现对应的LLM。一般选择性能最好的第一个。

随后在Models中输入该模型的名称。我们看到的Quen/Qwen2.5-14B-Instruct-1M，前面/之前的是发布者名称，后面才是模型的名字。

点进去之后，会有模型的详细描述，这个描述完全由发布者提供。重点可以看下description的内容，会对不同的版本有详细的说明。
右侧的GGUF有不同的bit数据，bit数值越大，说明压缩率越低，模型性能则越好。

我们最后再点击Files and Versions，再进一步具体选择合适大小的模型。
再点击相应的模型名称，便能够得到对应的连接。
https://huggingface.co/bartowski/Qwen2.5-14B-Instruct-1M-GGUF/blob/main/Qwen2.5-14B-Instruct-1M-Q5_K_L.gguf
我们最后可以在google colab中下载对应的LLM
!wget https://huggingface.co/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF/resolve/main/Meta-Llama-3.1-8B-Instruct-Q8_0.gguf
注意，这里的blob要替换成resolve，需要替换成对应的路径。
blob通常用于指向仓库中的网页视图，如果没有替换成resolve，下载到的将会是html内容，而不会是gguf文件。
替换成resolve之后，会绕过网页试图，直接返回文件本身。