Vision Zero-Shot

Zero-shot di sini berarti menjalankan tugas vision dengan teks dan prompt, bukan dengan kepala terlatih di atas daftar label yang tetap. Daftar kelasnya menjadi argumen, sehingga pipeline dapat dibangun sebelum data berlabel ada dan diubah setelahnya cukup dengan mengganti sebuah string.

Cakupannya meliputi klasifikasi, deteksi, dan segmentasi dalam framework yang sama, sehingga versi pertama sebuah pipeline dapat disusun dari tiga model yang tidak memerlukan tahap pelatihan sama sekali.

GroundingDINO menerima prompt bergaya titik-pemisah — "cat . dog . person" — dan membacanya sebagai daftar kelas. OWL-ViT v2 menerima daftar biasa dan menukar sedikit akurasi dengan kecepatan. Keduanya mengabaikan ruang label tetap yang akan dipaksakan detektor konvensional.

• IDEA-Research/grounding-dino-tiny — 48 juta parameter, akurasi tertinggi di antara detektor zero-shot yang terdokumentasi, terkuat pada skena rumit dan objek kecil, sekitar 2–5 detik per gambar.
• google/owlv2-base-patch16 — 93 juta parameter, cukup cepat untuk pekerjaan interaktif sekitar 0,5–1 detik per gambar.
• google/owlvit-base-patch32 — OWL-ViT versi awal, dipertahankan untuk kompatibilitas dan pembanding dasar.
• Ambang bawaannya 0,3 dan dapat ditimpa per pemanggilan, sehingga presisi dan recall dapat ditukar tanpa memuat ulang model.

SAM menyegmentasi dari prompt titik atau kotak, sehingga ia menjadi tahap kedua yang alami setelah detektor apa pun. SAM3 melangkah lebih jauh dan menerima prompt teks atas kosakata konsep yang sangat besar, sehingga sebuah frasa dapat menggantikan klik.

Preset grounding_dino_sam menyambungkan kedua tahap itu: deteksi dengan teks, saring berdasarkan skor, segmentasi setiap kotak, lalu perbaiki mask dengan operasi morfologi. Hasilnya adalah sekumpulan instance yang membawa kotak dan mask sekaligus.

Pilihan kata mengubah akurasi lebih banyak daripada yang biasanya tim duga, dan panduan framework ini cukup spesifik soal itu.

• Gunakan kata benda tunggal yang spesifik beserta kata penjelasnya — "red apple", "delivery van" — bukan nama kategori yang telanjang.
• Sertakan variasi yang Anda perkirakan akan muncul, bukan hanya satu nama kanonik.
• Tulis nama objek dalam bahasa yang dipakai model pelatihannya; nama objek berbahasa Inggris adalah pilihan bawaan yang andal.
• Hindari bentuk jamak yang berat dan istilah yang terlalu luas: kata generik menemukan lebih sedikit daripada nama spesifik yang benar-benar Anda butuhkan.
• Jaga prompt tetap pendek — deskripsi panjang berlapis-lapis menurunkan akurasi, bukan menajamkannya.

Tidak ada daftar kelas yang perlu dilatih ulang: prompt-nya adalah daftar kelasnya.

Purwarupa tidak lagi menunggu proyek pelabelan. Kategori yang bergeser mengikuti musim, pemasok, atau kampanye dapat diganti namanya di berkas konfigurasi, dan kategori baru dapat dicoba pada satu frame.

Deteksi dan klasifikasi dapat berjalan pada frame yang sama, sehingga sebuah skena tergambar utuh sekaligus per objek. Bila keduanya tidak saling bergantung, perencana graf menjalankannya berdampingan.

Muat detektor dengan prompt teks dan klasifier dengan label, lalu susun keduanya dalam graf — atau mulai dari preset yang sudah melakukannya. Tidak ada bagian di jalur itu yang memerlukan data pelatihan, direktori dataset, atau perkakas pelabelan.

Mencoba kategori lain berjarak satu argumen. Usahanya habis untuk memutuskan apa yang hendak ditanyakan, bukan menyiapkan apa yang hendak dilatih.

• Detektor ditambah klasifier adalah graf dua provider, dan pipeline berjalan dalam urutan yang dibutuhkan datanya.
• Prompt dan ambang dapat disesuaikan per pemanggilan, sehingga penyetelan tidak berarti memuat ulang model.
• Pola pemanggilan yang sama berlaku dari CLI selama konfigurasi masih dijajaki.

Pada tugas yang tetap dan berulang dengan dataset berlabel yang bersih, model khusus tugas tetap lebih kuat; zero-shot berguna ketika label belum ada atau kelasnya terus bergerak.

Akurasi juga bergantung pada mutu gambar, ukuran objek, dan susunan prompt, sehingga penetapannya ditentukan oleh hasil pada frame Anda sendiri, bukan oleh angka tolok ukur. Pelatihan dan fine-tuning bukan bagian dari MATA saat ini — modul pelatihan ada di peta jalan v2.0.