Pengen Develop AI di Rumah? Kenalan Dulu Sama NVIDIA DGX Spark!

Nah, bagaimana jika komputer seukuran Mini PC kita pakai untuk mengerjakan task semacam fine-tuning model LLM?

Dan itulah yang coba diwujudkan NVIDIA lewat rilisan terbarunya: DGX Spark.

Apa itu NVIDIA DGX Spark?

Kalau selama ini seri DGX identik dengan monster server yang cuma bisa dimiliki perusahaan besar,
maka DGX Spark bisa dibilang versi “personal”-nya.
NVIDIA menyebutnya seri DGX terbaru ini sebagai “personal AI supercomputer”.

Spesifikasi CIAMIK SORO!

DGX Spark dikemas dalam ukuran yang relatif kecil, tapi di dalamnya terdapat kombinasi mengerikan: yakni chip Grace Blackwell GB10 Superchip yang menggabungkan CPU dan GPU dalam satu sistem.

Bayangkan aja, keduanya bisa saling berbagi memori tanpa transfer data bolak-balik kayak zaman dulu.

Secara performa, DGX Spark bisa mencapai 1 petaFLOP (~ setara dengan 30 buah GPU RTX 3060 Ti) untuk operasi AI presisi rendah (FP4 + sparsity) hingga FP8.
Lalu ada 128 GB unified memory , dimana CPU dan GPU berbagi ruang yang sama, sehingga bisa membuat training dan inferensi model jauh lebih efisien.

NVIDIA juga menyertakan AI stack yang cukup lengkap, meliputi framework, library, sampai layanan microservice yang langsung bisa dipakai untuk RAG, fine-tuning, atau generative AI.
Dengan kata lain: colok, nyalakan, fine-tuning. (Nggak sesimpel itu juga sih!)

Disisi lain, saya sempat menonton review jujur dari seorang Youtuber bernama Bijan Bowen yang cukup detail menjelaskan dan mencoba (inference) beberapa model AI dengan spark. Ternyata ada beberapa kekurangan dan juga kelebihan. Berikut adalah videonya:

Dari video yang berdurasi kurang lebih 40 menit itu, Bijan Bowen mencoba beberapa benchmark penggunaan LLM lokal. Misalnya untuk LLM dense (Llama 3 70B Q4), kecepatan token per second cukup terbatas (4–5 tok/s), kalah bandwith memori dibanding dual-3090Ti atau Strix Halo.

Bisa dipakai buat apa aja?

• Eksperimen dan fine-tuning model, kita bisa menjalankan model LLM atau multimodal di lokal tanpa harus sewa GPU cloud.
• Inference cepat dan aman, Spark cocok untuk aplikasi bisnis yang membutuhkan privasi data.
• Penelitian dan R&D, universitas atau startup bisa testing LLM dengan biaya yang rendah.
• Proyek kreatif AI, tentu saja, jika disetup dengan tepat, Spark bakal bisa dipakai untuk generate gambar, video, sampai voice-over lokal.

Dan yang keren: DGX Spark bisa di-cluster. (Kalau dana kalian kuat 🤑)
Artinya jika satu unit masih kurang, kita bisa menggabung beberapa unit untuk training model yang lebih besar (bahkan sampai ratusan miliar parameter).

Harga dan kenyataannya

Sayangnya, semua kemewahan itu datang dengan label harga yang lumayan bikin dompet mikir dua kali, terutama dompet-dompet mahasiswa (hehe):

Harga Nvidia Spark keluaran 2025 dibandrol sekitar USD 3,999 (± Rp 65 jutaan) per unit.

Tapi kemungkinan akan ada 1 kelemahan yang perlu diperhatikan untuk model device mini yang handle AI seperti DGX Spark ini.

DGX Spark menurut spesifikasi memiliki TDP sebesar 350 W. Bayangkan! 350 W di ruang sekecil itu = setara menyalakan dua GPU RTX 3090 dalam satu kotak mungil. 😶‍🌫️

Tenang, ada yang lebih murah!

Kalau kamu cuma ingin belajar AI, fine-tuning kecil, atau bikin prototipe lokal di rumah,
ada beberapa alternatif yang harganya lebih masuk akal tapi tetap punya tenaga AI bawaan.
Berikut beberapa yang paling menarik:

• Minisforum MS-S1 MAX, pakai Ryzen AI Max+ 395, performa tinggi dengan NPU terintegrasi. Harga sekitar Rp 38 jutaan.
• Minisforum X1 Pro-370, Ryzen AI 9 Hx370, cocok buat eksperimen model kecil, harga ± Rp 15 jutaan.
• GMKTec NucBox EVO-X1, super compact tapi sudah ada akselerator AI, sekitar Rp 15 jutaan.
• MSI Cubi NUC AI, mini-PC mungil berbasis NPU, cocok buat inference dan demo ringan, harga di kisaran Rp 17 jutaan.

Selain itu, beberapa brand besar juga udah ikutan tren ini dengan versi “clone”-nya DGX Spark:
Asus Ascent GX10 (USD 2,999), HP ZGX Nano AI Station, dan Acer Veriton GN100 AI.
Semuanya berbasis chip NVIDIA GB10 juga, tapi dengan konfigurasi dan storage yang lebih ringan.

Jadi,

Kalau kalian serius ingin menyiapkan lab kecil di rumah untuk develop AI, DGX Spark jelas bakal jadi mimpi basah para developer.
Namun kalau budget belum sampai sana, alternatif mini PC dengan Ryzen AI atau NPU bawaan juga udah cukup banget untuk jalanin AI ringan hingga moderate seperti:

• Eksperimen LLM lokal (Phi-3, Gemma, Llama-3-mini)
• Testing pipeline RAG atau embedding
• Deployment prototype berbasis Ollama atau LM Studio

Intinya, AI development di rumah udah bukan hal mustahil lagi.

— M Khoirul Huda