Local LLM and Raspbery Pi(★)¶

Raspberry Pi 5でLocal LLMを動かしてみたのでその記録。クラウドに接続せずにMacならまだしも、Raspberry Piで動かせるのは画期的だ。

今回使用したモデルは “DeepSeek: R1 Distill Qwen 1.5B”

昨今話題のDeep Seekが開発したモデル。Qwen 2.5 Math 1.5Bをベースに、DeepSeek-R1の出力を用いて蒸留（distillation）された。 15億パラメータでありながら、数学的推論タスクにおいてGPT-4oやClaude 3.5といった大規模モデルを上回る性能を示しているらしい。 https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

基本的にはollamaで入れている。(raspberrypiだとsudo pipがうまくいかず、venvなどで仮想環境を作って実施した方がよい。)

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

pip install -r requirements.txt

次にモデルをクローンしてセットアップする。

#Git LFSのインストール
sudo apt install git-lfs

#Git LFSの初期化
git lfs install

#モデルのクローン
git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

#GGUFファイル形式にする。
python convert_hf_to_gguf.py --outfile DeepSeek-R1-Distill-Qwen-1.5B.gguf --outtype f16 ./DeepSeek-R1-Distill-Qwen-1.5B

最後にモデルをollamaに登録して実行する。

#Modelfileを作成し、以下の内容を記述
FROM deepseek-r1
PARAMETER gguf_model DeepSeek-R1-Distill-Qwen-1.5B.gguf

#モデルをollamaに追加
ollama create deepseek-r1-local -f ./Modelfile

#インタラクティブモード
ollama run deepseek-r1-local