10月17日消息，最近，EXO實驗室展示了其最新成果：將兩臺NVIDIA的DGX Spark迷你超算與蘋果的M3 Ultra Mac Studio相結合，成功打造出一個高效的AI協同網絡，實現了AI性能的大幅提升。
這得益于EXO實驗室的主要項目EXO，其核心在于其能夠將大型語言模型（LLM）的推理任務智能分配到不同的硬件設備上。
傳統上，推理任務通常依賴于單一的GPU或加速器，而EXO則能夠自動將工作負載分散到用戶所擁有的各種設備上，無論是桌面電腦、筆記本、工作站、服務器、平板電腦甚至智能手機，都可以成為這個協同AI網絡的一部分。
在EXO的最新演示中，兩臺NVIDIA DGX Spark與蘋果的Mac Studio被組合在一起，以充分利用了每臺機器的獨特優勢。
DGX Spark擁有強大的計算能力，而Mac Studio則擁有超寬的內存位寬和快速的數據傳輸能力著稱，EXO 1.0版本將這兩者融合為一個單一的推理管道，并且效果出奇地好。
在EXO使用Meta的Llama-3.1 8B模型進行的基準測試中，這種混合設置比單獨使用Mac Studio的速度快了2.8倍。
這還是在使用相對較小的8B模型和8K-token的情況下，如果使用更長的提示或更大的模型，性能提升可能會更加顯著。