Ollama

Progetto open source che permette di scaricare in locale diversi modelli LLM e farli girare su un server locale con API disponibili Articolo Medium (oscurato)

Messo in locale tramite docker:

services:
  ollama:
	image: ollama/ollama:latest
    container_name: ollama
    ports:
      - "11434:11434"
    volumes:
      - ./data/ollama:/ollama
    environment:
      - OLLAMA_HOST=0.0.0.0:11434
      - OLLAMA_ORIGINS=*
    restart: unless-stopped
    networks:
      - ollama_network
 
  ollamaweb:
    image: ghcr.io/open-webui/open-webui:main
    container_name: ollamaweb
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - WEBUI_SECRET_KEY=lpuk
      - WEBUI_NAME=Ollama WebUI
      - WEBUI_AUTH=True
    volumes:
      - ./data/ollamaweb:/app/backend/data
    depends_on:
      - ollama
    restart: unless-stopped
    networks:
      - ollama_network
 
networks:
  ollama_network:
    driver: bridge
    name: ollama_network

Una volta avviato il container ollama con docker compose up -d ollama verificare che localhost:11434 è raggiungibile. Poi si possono:

• installare modelli con docker compose exec ollama ollama pull tinyllama
• avviare modelli docker compose exec ollama ollama run tinyllama
• fermare modelli docker compose exec ollama ollama stop tinyllama