Ubuntu にインストールした Ollama の設定変更を行う

• 前提
• Ollama の設定変更手順

Ubuntu にインストールした Ollama の設定変更手順をまとめた。

前提

• OS: Ubuntu 24.04.4 LTS
• Ollama: ollama version is 0.19.0
  • Download Ollama on Linux のインストール方法でインストール済み

Ollama の設定変更手順

1. sudo systemctl edit ollama コマンドを実行して、Ollama の systemd サービスのオーバーライドファイルを編集する

2. あとは以下のような感じで、必要な設定を追加する

   ### Editing /etc/systemd/system/ollama.service.d/override.conf
   ### Anything between here and the comment below will become the contents of the drop-in file
   
   [Service]
   Environment="OLLAMA_HOST=0.0.0.0"
   Environment="OLLAMA_NUM_GPU=8"
   Environment="OLLAMA_MAX_LOADED_MODELS=2"
   Environment="OLLAMA_NUM_BATCH=2048"
   Environment="OLLAMA_NUM_THREAD=32"
   Environment="OLLAMA_KEEP_ALIVE=-1"
   Environment="CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7"
   
   ### Edits below this comment will be discarded
   
   
   ### /etc/systemd/system/ollama.service
   # [Unit]
   # Description=Ollama Service
   # After=network-online.target
   #
   # [Service]
   # ExecStart=/usr/local/bin/ollama serve
   # User=ollama
   # Group=ollama
   # Restart=always
   # RestartSec=3

3. 編集が終わったら sudo systemctl restart ollama コマンドを実行して、Ollama サービスを再起動する

以上。