NVIDIA Personal AI Router Note di rilascio

NVIDIA · Instrada richieste di inferenza locali indipendenti tra computer compatibili sulla stessa rete.

CaskStrumenti di IAApple silicon · Intel
Sito web
Da homebrew/cask
Installazioni in 30 giorni
32
N. 1323 in App
Installazioni in un anno
38
Ultimi 365 giorni
Ultima versione
1.0.0
13 ott · 13 ott
Dimensione del download
176MB
arm64 / x86_64 · dmg
Frequenza di rilascio
Irregolare
1 versione in 30 giorni
  1. 1.0.0

    Più recente

    Redazione OpenNavo Aggiunta a Homebrew Tradotto con IA

    CompatibilitàmacOS 13 o versioni successive

    Aggiunge llama.cpp, opzioni di avvio motori, RTX Spark e Jobs nel terminale. I browser seguono il CORS del motore. Su Mac rimuovere PAIR.app dopo NVIDIA PAIR.app. Vecchio LM Studio e modelli conservati. Validazione RTX Spark solo Windows on ARM. Segue l’originale inglese completo.

    Aggiunge installazione e gestione di llama.cpp, download di modelli GGUF da Hugging Face e instradamento tra dispositivi associati. Argomenti di avvio e variabili d’ambiente dei motori gestiti sono personalizzabili sul dispositivo locale o associato, ad esempio la dimensione del contesto se supportata. RTX Spark N1X è stato validato con llama.cpp e CUDA nel build Windows on ARM; non è una garanzia hardware per macOS. Il terminale è riorganizzato per dispositivo per gestire motori, modelli e associazioni. La nuova scheda Jobs segue l’inferenza ed esegue Inference Demo anche senza desktop.

    Gli endpoint locali seguono ora il CORS dei singoli motori invece di accettare qualsiasi origine. Per Ollama può servire OLLAMA_ORIGINS nelle opzioni di avvio. NVIDIA PAIR.app si installa accanto alla vecchia PAIR.app: rimuovere quest’ultima manualmente. Impostazioni, appartenenza al cluster e modelli vengono mantenuti. LM Studio installato da vecchie versioni resta dopo reset o disinstallazione, perché prima non veniva registrata l’installazione; si può rimuovere da ~/.lmstudio se non serve. I modelli scaricati non vengono più eliminati rimuovendo LM Studio o PAIR: restano in ~/.lmstudio/models, ~/.ollama o ~/.llamacpp.

    Aggiunge instradamento Anthropic Messages tramite Ollama e LM Studio con selezione del modello e failover. I controlli di stato riutilizzano connessioni HTTP. Le notifiche di fiducia seguono il salvataggio delle approvazioni dei peer. Le trasmissioni del carico preservano l’ordine; notifiche fallite di broker e priorità restano ritentabili. I test sono isolati dalle impostazioni locali. Gli esempi di release usano la chiave di versione dei servizi richiesta; i contributi partono da develop e vi effettuano il rebase. Le schede dei nodi mostrano tutte le GPU.

    Official original (English)

    This release brings llama.cpp and RTX Spark support to PAIR, and establishes its public development and contribution workflow on GitHub.

    What's New

    • llama.cpp support. Install and manage llama.cpp directly from PAIR, download compatible GGUF models from Hugging Face, and route inference requests across paired devices. Refer to Managing Engines.
    • Engine launch options. Customize the launch arguments and environment variables of PAIR-managed engines, on this device or a paired one. Tune settings such as context size where the engine supports them. Refer to Engine Settings.
    • RTX Spark support. PAIR's Windows on ARM build has been validated with llama.cpp and CUDA on RTX Spark N1X hardware.
    • Improved terminal experience. The terminal interface has a redesigned layout organized around each device, so you can manage engines, download models, and pair devices from one place. A new Jobs tab follows inference work across paired devices and runs the Inference Demo, giving headless machines the same core tools as the desktop app. Refer to Terminal Interface.

    Compatibility Notes

    • Browser clients. PAIR's local endpoints now follow each engine's CORS policy instead of allowing every browser origin. A browser-based client may need the engine configured to allow it — for Ollama, set OLLAMA_ORIGINS in the engine's launch options.
    • The macOS app is now NVIDIA PAIR. The new NVIDIA PAIR.app installs beside the old PAIR.app, so remove the old one to keep just one copy. Your settings, cluster membership, and downloaded models carry over.
    • LM Studio installed by an earlier PAIR. It keeps working as before. PAIR now removes only engines it has a record of installing, and earlier versions kept no record, so uninstalling or resetting PAIR leaves that LM Studio in place. You can remove it from ~/.lmstudio yourself if you no longer want it.

    The Upgrade Guide walks through each of these.

    Targeted Bug Fixes

    • Uninstalling LM Studio from PAIR, or uninstalling PAIR with its data, no longer deletes the models you downloaded. They stay in ~/.lmstudio/models, just as Ollama's stay in ~/.ollama and llama.cpp's in ~/.llamacpp.

    Community Contributions

    • Added Anthropic Messages API routing through Ollama and LM Studio, so compatible clients such as Claude Code can use PAIR's model-aware routing and failover. Thanks @Ratherrayees! (#27)
    • Made engine monitoring more efficient by reusing HTTP connections for health checks. Thanks @Psych0h3ad! (#37)
    • Fixed unnecessary cluster trust refreshes: notifications are now sent only after new peer endorsements are saved. Thanks @RecursiveIntell! (#62)
    • Fixed workload synchronization between nodes: broadcasts preserve event order, and a failed broker notification stays eligible for retry. Thanks @mkalkere! (#80)
    • Fixed scheduler priority updates being marked as delivered after a failed notification, so they are retried and the status stays accurate. Thanks @sylvesterkaczmarek! (#122)
    • Isolated the service integration and proxy failover tests from local PAIR settings, so tests no longer read or overwrite a developer's configuration. Thanks @somtri! (#95)
    • Corrected the release-intent examples to use the required services version key. Thanks @somtri! (#120)
    • Updated the contributor instructions to branch from and rebase onto develop. Thanks @somtri! (#126)
    • Fixed node cards showing only the first GPU on multi-GPU systems; they now show every GPU. Thanks @CryptoJones! (#34)

    Special Thanks

    Thank you to these community members for sharing ideas, submitting proposals and fixes, investigating issues, and testing PAIR:

    @XxSilentStormIxX, @agenticocho, @Mayimbe07, @cruzanstx, @pettersandvand, @cguldogan, @mkalkere, @CryptoJones, @woodsonl, @stevbev, @habakan, @arcaven, @somtri, @imluffy000, @ndizazzo, and @fpvo.

    We are grateful for every contribution, and for the warm welcome from the local AI community.

    Sources

  2. 0.1.1

    Patch

    Redazione OpenNavo Aggiunta a Homebrew Tradotto con IA

    CompatibilitàSconosciuta

    Corregge la compilazione dai sorgenti per Intel/AMD; comportamento dell’app e installer 0.1.0 pubblicati restano invariati.

    Corregge un errore di compilazione dai sorgenti per destinazioni Intel/AMD. Lo script di pacchettizzazione passava direttamente il nome di architettura Electron x64 a Go, che richiede amd64, facendo fallire la compilazione del sanitizzatore dei log incluso. Corregge questa associazione; Arm64 non era interessato.

    La modifica riguarda solo gli strumenti di build, non l’applicazione. Gli installer 0.1.0 pubblicati non erano interessati; per chi usa gli installer, 0.1.1 è funzionalmente identica a 0.1.0.

    https://github.com/NVIDIA/Personal-AI-Router/releases/tag/v0.1.1