Teknologi

AMD dan Unsloth Hadirkan Dukungan NPU untuk 100+ Agentic AI

Bagikan Artikel Ini

AMD dan Unsloth berkolaborasi menghadirkan dukungan NPU AMD XDNA 2 untuk lebih dari 100 aplikasi agentic AI melalui Unsloth Desktop.

Published

on

GwiGwi.com - AMD dan Unsloth resmi mengumumkan kerja sama untuk menghadirkan akselerasi NPU AMD XDNA 2 ke dalam Unsloth Desktop. Langkah ini membuka akses bagi lebih dari 100 aplikasi dan alur kerja agentic AI agar bisa menjalankan inferensi NPU secara lokal pada perangkat PC yang kompatibel.

Melalui integrasi ini, NPU AMD XDNA 2 tercatat sebagai neural processing unit pertama yang didukung oleh Unsloth Desktop. Kolaborasi tersebut memanfaatkan API khusus guna menghubungkan berbagai aplikasi yang kompatibel dengan model yang didukung, lalu menjalankannya langsung melalui NPU.

Peran Penting Efisiensi Daya

Kehadiran asisten serta agen AI yang aktif sepanjang hari menuntut efisiensi komputasi yang tinggi tanpa mengganggu kinerja PC secara keseluruhan. Integrasi ini memberikan opsi selain pemrosesan berbasis GPU, di mana NPU AMD XDNA 2 diandalkan untuk menjalankan inferensi berkelanjutan dengan konsumsi daya yang lebih rendah.

Dengan skema tersebut, sumber daya CPU dan GPU pada perangkat tetap tersedia secara optimal untuk menjalankan aplikasi lainnya. Hal ini merupakan bagian dari langkah lanjutan AMD dalam memperluas dukungan perangkat lunak agar akselerasi NPU khusus dapat dimanfaatkan secara maksimal pada perangkat sehari-hari.

Cara Kerja dan Ekosistem yang Didukung

Unsloth menyediakan berbagai perangkat open-source untuk mempercepat proses fine-tuning dan menekan kebutuhan memori GPU. Melalui aplikasi desktop Unsloth, pengguna dapat melakukan pelatihan serta inferensi model tanpa harus menulis kode pemograman.

Secara teknis, aplikasi yang kompatibel akan mengirimkan permintaan model ke API Unsloth Desktop. Selanjutnya, Lemonade dan FastFlowLM bertugas mengurus penyajian model serta proses inferensi di atas NPU AMD XDNA 2 sebelum hasilnya dikirimkan kembali ke aplikasi.

API Unsloth Desktop sendiri menawarkan endpoint yang kompatibel dengan OpenAI. Beberapa perangkat dan aplikasi yang didukung mencakup Hermes Agent, OpenClaw, Open WebUI, Cline, LangChain, hingga GitHub Copilot.

Sumber: Press Release

Trending

Exit mobile version