MiniCPM：修订间差异
（创建页面，内容为“https://github.com/OpenBMB/MiniCPM MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量, 总计2.7B参数量。 Category:Deep Learning”） |
无编辑摘要 |
||
| （未显示同一用户的1个中间版本） | |||
| 第3行： | 第3行： | ||
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量, 总计2.7B参数量。 | MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量, 总计2.7B参数量。 | ||
= Run MiniCPM = | |||
== Install dependencies == | |||
<syntaxhighlight lang="bash"> | |||
pip install --upgrade pip --index-url https://mirrors.sustech.edu.cn/pypi/web/simple | |||
pip config set global.index-url https://mirrors.sustech.edu.cn/pypi/web/simple | |||
pip install torch torchvision flash_attn | |||
pip install transformers==4.37.2 gradio==4.16.0 accelerate==0.26.1 | |||
</syntaxhighlight> | |||
== Download Model == | |||
<syntaxhighlight lang="bash"> | |||
pip install -U huggingface_hub | |||
export HF_ENDPOINT=https://hf-mirror.com | |||
huggingface-cli download openbmb/MiniCPM-2B-dpo-bf16 --local-dir=./models/openbmb/MiniCPM-2B-dpo-bf16 --cache-dir=./cache --local-dir-use-symlinks=False --resume-download | |||
# if huggingface-cli command not found | |||
# echo "export PATH=\"`python3 -m site --user-base`/bin:\$PATH\"" >> ~/.bashrc | |||
# source ~/.bashrc | |||
</syntaxhighlight> | |||
[[Category:Deep Learning]] | [[Category:Deep Learning]] | ||
2024年6月6日 (四) 11:11的最新版本
https://github.com/OpenBMB/MiniCPM
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量, 总计2.7B参数量。
Run MiniCPM
Install dependencies
pip install --upgrade pip --index-url https://mirrors.sustech.edu.cn/pypi/web/simple
pip config set global.index-url https://mirrors.sustech.edu.cn/pypi/web/simple
pip install torch torchvision flash_attn
pip install transformers==4.37.2 gradio==4.16.0 accelerate==0.26.1
Download Model
pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download openbmb/MiniCPM-2B-dpo-bf16 --local-dir=./models/openbmb/MiniCPM-2B-dpo-bf16 --cache-dir=./cache --local-dir-use-symlinks=False --resume-download
# if huggingface-cli command not found
# echo "export PATH=\"`python3 -m site --user-base`/bin:\$PATH\"" >> ~/.bashrc
# source ~/.bashrc