MiniCPM：修订间差异
无编辑摘要 |
无编辑摘要 |
||
| 第3行： | 第3行： | ||
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量, 总计2.7B参数量。 | MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量, 总计2.7B参数量。 | ||
= Download Model = | = Run MiniCPM = | ||
== Install dependencies == | |||
<syntaxhighlight lang="bash"> | |||
pip install --upgrade pip --index-url https://mirrors.sustech.edu.cn/pypi/web/simple | |||
pip config set global.index-url https://mirrors.sustech.edu.cn/pypi/web/simple | |||
pip install torch torchvision flash_attn | |||
pip install transformers==4.37.2 gradio==4.16.0 accelerate==0.26.1 | |||
</syntaxhighlight> | |||
== Download Model == | |||
<syntaxhighlight lang="bash"> | <syntaxhighlight lang="bash"> | ||
2024年6月6日 (四) 11:11的最新版本
https://github.com/OpenBMB/MiniCPM
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量, 总计2.7B参数量。
Run MiniCPM
Install dependencies
pip install --upgrade pip --index-url https://mirrors.sustech.edu.cn/pypi/web/simple
pip config set global.index-url https://mirrors.sustech.edu.cn/pypi/web/simple
pip install torch torchvision flash_attn
pip install transformers==4.37.2 gradio==4.16.0 accelerate==0.26.1
Download Model
pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download openbmb/MiniCPM-2B-dpo-bf16 --local-dir=./models/openbmb/MiniCPM-2B-dpo-bf16 --cache-dir=./cache --local-dir-use-symlinks=False --resume-download
# if huggingface-cli command not found
# echo "export PATH=\"`python3 -m site --user-base`/bin:\$PATH\"" >> ~/.bashrc
# source ~/.bashrc