Данная статья предназначена для тех, кто искал подробное и понятное руководство о том, как установить Ollama с использованием Docker Compose.

Ollama - это простой, модульный фреймворк, предназначенный для локальной разработки и эксплуатации языковых моделей.

💾 Репозиторий, использованный в этом руководстве, можно найти на GitHub.

Мы будем использовать Traefik в качестве нашего обратного прокси. Он будет отвечать за получение криптографических сертификатов от Let’s Encrypt для ваших доменных имен и направлять запросы к соответствующим службам на основе этих доменов.

❗ Для получения криптографических сертификатов вам потребуются записи типа A во внешней зоне DNS, которые указывают на IP-адрес вашего сервера, где установлен Traefik. Если вы создали эти записи недавно, следует подождать, прежде чем начать установку сервисов. Полная репликация данных записей между DNS-серверами может занять от нескольких минут до 48 часов или даже больше в редких случаях.

В этом руководстве мы будем рассматривать тот случай, когда у вас уже есть сервер с установленной на нем операционной системой Ubuntu Server 22.04 LTS.

Подробно о том, как установить Ubuntu Server 22.04 LTS, вы можете прочитать в моем руководстве “Установка Ubuntu Server 22.04 LTS”.

Также на сервере должен быть установлен Docker Engine и Docker Compose.

Узнать о том, как установить Docker Engine на Ubuntu Server, вы можете, прочитав “Установка Docker Engine и Docker Compose на Ubuntu Server”.

Кроме того, на сервер должен быть установлен OpenSSH, а также открыт 22 порт, чтобы иметь возможность подключаться к серверу по протоколу SSH.

Для установки OpenSSH на сервер вы можете воспользоваться командой:

sudo apt install openssh-server

Если вы планируете подключиться к серверу, используя операционную систему Windows, то можете воспользоваться PuTTY или MobaXterm.

В данном руководстве рассматривается подключение к серверу при помощи терминального эмулятора iTerm2, установленного на операционную систему macOS.

💡 Обратите внимание, вам потребуется открыть следующие порты TCP для доступа к сервисам:

  • TCP порт 80 - для получения бесплатного криптографического сертификата через центр сертификации Let’s Encrypt.
  • TCP порт 443 - для доступа к веб-интерфейсу Ollama.

Подключаемся к серверу, на который планируется установить Ollama.

Теперь необходимо создать сети для ваших служб.

Создаем сеть для Traefik с помощью команды:

docker network create traefik-network

Установка Ollama с использованием Docker Compose

Создаем сеть для Ollama с помощью команды:

docker network create ollama-network

Установка Ollama с использованием Docker Compose

Далее нужно клонировать репозиторий, который содержит конфигурационные файлы, которые содержать все необходимые условия для работы Ollama.

Клонировать репозиторий можно с помощью команды:

git clone https://github.com/heyValdemar/ollama-traefik-letsencrypt-docker-compose.git

Установка Ollama с использованием Docker Compose

Переходи в директорию с репозиторием с помощью команды:

cd ollama-traefik-letsencrypt-docker-compose

Установка Ollama с использованием Docker Compose

Далее вам необходимо изменить переменные в файле .env в соответствии с вашими требованиями.

💡 Обратите внимание, что .env должен находиться в той же директории, что и ollama-traefik-letsencrypt-docker-compose.yml.

Теперь запустим Ollama с помощью команды:

docker compose -f ollama-traefik-letsencrypt-docker-compose.yml -p ollama up -d

Установка Ollama с использованием Docker Compose

Для доступа к панели управления Ollama необходимо с рабочей станции перейти по ссылке https://ollama.heyvaldemar.net, где ollama.heyvaldemar.net — доменное имя моего сервиса. Соответственно, вам необходимо указать свое доменное имя, которое указывает на IP-адрес вашего сервера с установленным сервисом Traefik, который перенаправит запрос к Ollama.

💡 Обратите внимание, вам нужно указать доменное имя сервиса, заданное ранее в файле .env.

Нажмите на кнопку “Sign up”.

Install Ollama Using Docker Compose

Далее указываем ваше полное имя, адрес электронной почты и пароль для создания учетной записи администратора Ollama.

Нажмите на кнопку “Create Account”.

Install Ollama Using Docker Compose

Добро пожаловать в панель управления Ollama.

Пожалуйста, дождитесь загрузки моделей, перечисленных в вашем файле .env; продолжительность будет зависеть от скорости вашего интернет-соединения. После загрузки вы можете выбрать любую модель в левом углу интерфейса, чтобы начать ее использовать.

Install Ollama Using Docker Compose

Для доступа к панели управления Traefik необходимо с рабочей станции перейти по ссылке https://traefik.ollama.heyvaldemar.net, где traefik.ollama.heyvaldemar.net — доменное имя моего сервиса. Соответственно, вам необходимо указать свое доменное имя, которое указывает на IP-адрес вашего сервера с установленным Traefik.

💡 Обратите внимание, вам нужно указать доменное имя сервиса, заданное ранее в файле .env.

Указываем имя пользователя и пароль, заданный ранее в файле .env, и нажимаем на кнопку “OK”.

Установка Ollama с использованием Docker Compose

Добро пожаловать в панель управления Traefik.

Установка Ollama с использованием Docker Compose


Мои курсы

🎓 Погрузитесь в мои обширные курсы по информационным технологиям, разработанные как для энтузиастов, так и для профессионалов. Независимо от того, хотите ли вы освоить Docker, покорить Kubernetes или углубить свои навыки в области DevOps, мои курсы предлагают структурированный путь к повышению вашего технического мастерства.

Мои услуги

💼 Загляните в мой каталог услуг и узнайте, как мы можем сделать вашу технологическую жизнь лучше. Будь то повышение эффективности вашей IT-инфраструктуры, развитие вашей карьеры или расширение технологических горизонтов — я здесь, чтобы помочь вам достичь ваших целей. От DevOps-трансформаций до сборки игровых компьютеров — давайте сделаем ваши технологии непревзойденными!

Пополнить запасы моего кофе

💡 Telegram | Boost
💖 PayPal
🏆 Patreon
💎 GitHub
🥤 BuyMeaCoffee
🍪 Ko-fi

Подпишись

Telegram | Блог
🎬 YouTube
🐦 Twitter
🎨 Instagram
🐘 Mastodon
🧵 Threads
🎸 Facebook
🧊 Bluesky
🎥 TikTok
🐈 GitHub

Этот контент создан искусственным интеллектом?

Нет! Каждая статья — результат моей работы, наполненной страстью к Docker и десятилетиями опыта в IT. Я применяю ИИ для улучшения грамматики, чтобы обеспечить четкость технических деталей, однако все идеи, стратегии и рекомендации исключительно мои. Этот метод иногда может вызывать срабатывание детекторов ИИ, но можете быть уверены, что вся представленная информация и опыт — подлинно мои.

Владимир Михалев
Я - Владимир Михалев, Капитан Docker, но друзья могут называть меня Вальдемарыч.

DevOps комьюнити

Привет! 👋 Если у тебя есть вопросы по установке или настройке, то задайте их мне и другим IT-экспертам нашего сообщества: