Penerapan di Edge

Penerapan di edge di sini adalah sifat dari cara pipeline dimuat dan dijalankan, bukan produk terpisah. Mesin di lokasi memuat model dari berkas lokal, mengeksekusi pada komputasi yang dimilikinya, dan tidak memerlukan rute ke internet publik agar tetap bekerja.

Hal itu penting karena alasan yang sama dengan mengapa pemrosesannya ada di lokasi sejak awal: frame, potongan gambar, dan peristiwanya tetap di dalam jaringan, dan sistemnya tetap berjalan ketika sambungannya tidak.

Universal loader adalah mekanismenya: arahkan ke sebuah berkas alih-alih ke ID hub, dan adapter runtime yang sesuai mengambil alih, tanpa pipeline di atasnya berubah.

• ONNX Runtime mencakup deteksi, klasifikasi, dan embedding, sehingga detektor ONNX dapat dimuat lewat jalur berkas dan dijalankan runtime tersebut.
• Arsip TorchScript mencakup deteksi dan klasifikasi bagi tim yang sudah mengekspor dengan cara itu.
• Keluarga deteksi Torchvision — RetinaNet, Faster R-CNN, FCOS, SSD — berjalan lokal saat backbone yang lebih ringan atau lebih dikenal menjadi prioritas.
• Jalur, ambang, dan nilai bawaan per tugas disimpan di .mata/models.yaml, sehingga daftar model sebuah lokasi menjadi berkas konfigurasi, bukan kode.

Laju yang terdokumentasi pada satu kartu sekelas RTX 3080: SSD sekitar 60 FPS, RT-DETR sekitar 50 FPS, RetinaNet sekitar 40 FPS, FCOS sekitar 30 FPS, dan DETR sekitar 20 FPS. Di CPU pekerjaan yang sama berjalan lima sampai sepuluh kali lebih lambat, yang cocok untuk laju frame rendah dan pemrosesan bergaya peristiwa, bukan video terus-menerus.

Ukuran model adalah tuas lainnya: checkpoint GroundingDINO tiny berukuran 48 juta parameter, SmolVLM dirancang untuk edge dan perangkat bergerak, dan OSNet tersedia sebagai ekspor ONNX 256 dimensi untuk pekerjaan berbasis penampilan. Pilih model terkecil yang menjawab pertanyaannya, lalu periksa lajunya.

Tentukan dulu frame per detik per kamera — perangkat kerasnya mengikuti angka itu, begitu pula daftar modelnya.

Bobot diunduh sekali dan di-cache di lokal; setelah itu mesinnya berjalan tanpa menjangkau internet publik. MATA tidak mendistribusikan bobot model — bobot itu datang dari sumbernya masing-masing dengan lisensinya sendiri — dan itu perlu diketahui ketika lokasi terisolasi atau lisensinya perlu ditinjau.

Pemasangan CPU saja adalah jalur kelas satu: pasang build PyTorch untuk CPU, lalu datamata, dan pipeline yang sama berjalan tanpa GPU. Kode pipeline-nya tidak berubah di antara keduanya.

Kamera di lokasi menghasilkan aliran yang tetap harus diimbangi mesin kecil, dan ada jawaban eksplisit untuk itu.

• Streaming bermemori tetap menangani sumber RTSP dan video panjang, sehingga satu shift penuh tidak menghabiskan mesinnya.
• Kebijakan frame — setiap frame ke-N, selalu frame terbaru, atau antrean terbatas — menentukan seberapa besar komputasi yang boleh dipakai setiap kamera.
• Pelacakan sepenuhnya di dalam framework: ByteTrack dan BotSort sudah vendored, jadi tidak ada layanan pelacakan eksternal yang perlu dipasang atau dijangkau.
• Deteksi, mask, dan peristiwa dapat ditulis ke format lokal atau penyimpanan lokal, sehingga seluruh lingkarannya tetap di lokasi.

Satu mesin jarang harus mengerjakan semuanya. Pembagian yang umum menempatkan deteksi, klasifikasi, dan pelacakan di kotak di samping kamera, tempat frame-nya sudah berada, dan hanya mengirim hasilnya — atau potongan gambar yang perlu pendapat kedua — ke mesin ber-GPU untuk penilaian yang lebih berat.

Karena pemuatannya seragam, pembagian itu menjadi keputusan tentang string, bukan tentang kode: definisi pipeline yang sama berjalan di kedua mesin, dengan sumber model berbeda di tiap berkas konfigurasi.

• Kotak di lokasi: deteksi, pelacakan, dan evaluasi aturan pada laju frame yang mampu ditahannya.
• Mesin pusat: pemeriksaan vision-language di tempat GPU tersedia.
• Satu konfigurasi per mesin, satu definisi pipeline di antara keduanya.

Saat ini jalur portabelnya adalah artefak yang Anda bawa sendiri: berkas ONNX dan TorchScript, dimuat melalui adapter yang sama seperti lainnya. Perintah mata export masih berupa stub, dan ekspor ONNX terkuantisasi serta ekspor TensorRT dan TFLite berada di peta jalan v2.0, bukan di rilis yang sudah tersedia.

Untuk perencanaan, ada satu catatan jujur: lokasi yang membutuhkan model terkuantisasi atau mesin TensorRT hari ini harus menghasilkan artefaknya di luar framework lalu memuat hasilnya kembali.