2024年6月6日 (四) 11:11的最新版本

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量, 总计2.7B参数量。

Run MiniCPM

Install dependencies

pip install --upgrade pip --index-url https://mirrors.sustech.edu.cn/pypi/web/simple
pip config set global.index-url https://mirrors.sustech.edu.cn/pypi/web/simple

pip install torch torchvision flash_attn
pip install transformers==4.37.2 gradio==4.16.0 accelerate==0.26.1

Download Model

pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com

huggingface-cli download openbmb/MiniCPM-2B-dpo-bf16 --local-dir=./models/openbmb/MiniCPM-2B-dpo-bf16 --cache-dir=./cache --local-dir-use-symlinks=False --resume-download

# if huggingface-cli command not found
# echo "export PATH=\"`python3 -m site --user-base`/bin:\$PATH\"" >> ~/.bashrc
# source ~/.bashrc

@@ 第3行： / 第3行： @@
 MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量, 总计2.7B参数量。
-= Download Model =
+= Run MiniCPM =
+== Install dependencies ==
+<syntaxhighlight lang="bash">
+pip install --upgrade pip --index-url https://mirrors.sustech.edu.cn/pypi/web/simple
+pip config set global.index-url https://mirrors.sustech.edu.cn/pypi/web/simple
+pip install torch torchvision flash_attn
+pip install transformers==4.37.2 gradio==4.16.0 accelerate==0.26.1
+</syntaxhighlight>
+== Download Model ==
 <syntaxhighlight lang="bash">