Indeks dan Pencarian Video

Dua node graf yang mengerjakannya. IndexVideo menyampel frame dari video dan meng-embed-nya ke sebuah indeks; EmbeddingSearch meng-embed satu atau beberapa string kueri ke ruang vektor yang sama lalu memeringkat frame terindeks terhadapnya.

Keduanya node biasa di dalam graf, sehingga pencarian berada di dalam pipeline, bukan di sampingnya. Ketika node ini dirilis pada v1.9.7, peragaan yang sebelumnya berupa beberapa ratus baris kode pengindeksan menjadi graf sekitar dua puluh baris.

Pengindeksan menyampel video pada laju tetap alih-alih memproses setiap frame, sehingga biayanya sebanding dengan yang benar-benar dibutuhkan.

• sample_fps menetapkan lajunya — 1,0 frame per detik secara bawaan; naikkan untuk gerak cepat, turunkan untuk rekaman panjang.
• Mode frame meng-embed satu frame sampel setiap kali dan menjadi bawaannya; mode clip meng-embed jendela beberapa frame sebagai satu vektor, yang memang untuk encoder dengan perhatian temporal.
• Indeksnya adalah artefak kelas satu (VideoIndexData), sehingga dapat disimpan, diteruskan antar node, dan dipakai lebih dari satu kueri.
• Model apa pun yang mendukung embed dapat dipakai: CLIP pada 512 dimensi, X-CLIP untuk video-bahasa, dan Qwen3-VL-Embedding hingga 4096 dimensi yang dapat dipangkas melalui parameter embed_dim.

Setiap string kueri di-embed ke ruang yang sama dengan frame-frame dan dijawab melalui pencarian tetangga terdekat kosinus, sehingga kueri ditulis sebagaimana momen itu akan dideskripsikan kepada orang lain.

• Satu kueri atau daftar kueri per pemanggilan, masing-masing dikembalikan terpisah bersama kecocokannya sendiri.
• top_k membatasi jumlah kecocokan per kueri (5 secara bawaan); threshold membuang apa pun di bawah ambang kemiripan.
• Setiap kecocokan membawa skor kemiripan serta stempel waktu awal dan akhir, sehingga peninjau dapat langsung membuka momennya.
• Dua metrik dicatat — indexed_frames saat indeks dibangun, num_queries saat indeks ditelusuri.

CLIP adalah pilihan cepat yang sudah akrab dan bekerja baik untuk objek serta skena yang dideskripsikan dengan kata sehari-hari. X-CLIP meng-embed jendela beberapa frame dengan transformer temporal, yang dibutuhkan kueri tentang gerakan — pesepeda yang menyerobot, bukan sekadar pesepeda.

Qwen3-VL-Embedding menempatkan teks, gambar, dan video dalam satu ruang vektor, dan keluarannya dapat dipangkas ke dimensi lebih kecil ketika indeks harus tetap ringkas.

Kueri tidak perlu tahu kosakata modelnya: "vehicle making an abrupt lane change near pedestrians" adalah string yang sah, dan mengembalikan kecocokan atau tidak sama sekali.

Contoh yang terdokumentasi adalah rekaman dashcam: beberapa kueri perilaku dijalankan atas satu indeks, masing-masing mengembalikan momen yang cocok. Bentuk yang sama berlaku untuk rekaman apa pun yang momennya lebih murah ditemukan lewat deskripsi daripada ditonton — peninjauan insiden, shift panjang, atau arsip yang tidak sempat ditonton ulang.

Karena indeksnya artefak, alur peninjauan dapat membangunnya sekali dan menanyainya berkali-kali, termasuk dengan pertanyaan yang ditulis setelah rekamannya dibuat.

• Kueri disusun per peninjauan, bukan per rekaman, sehingga pertanyaan baru tidak berarti penelusuran ulang atas video.
• Kecocokan datang sebagai stempel waktu, yang memang dibutuhkan editor atau pemeriksa untuk membuka klipnya.
• Graf yang sama dapat membawa tugas lain, sehingga pencarian dan deteksi dapat menggambarkan rekaman yang sama.

Pasang datamata, muat model embed, lalu jalankan graf dengan jalur video; mata.infer menerima video sebagai masukan bersama gambar, dan hasilnya kembali sebagai search results yang dapat diiterasi, dicetak, atau disimpan bersama keluaran pipeline lainnya.

Indeksnya berada di memori selama proses berjalan, dan karena ia artefak, indeks tersebut dapat diserialisasi bila alur kerja perlu menyimpannya.

• Model embed adalah provider seperti yang lain, sehingga dapat ditukar tanpa menyentuh bagian graf lainnya.
• Satu indeks menjawab banyak kueri, dan itulah yang membuat sesi peninjauan menjadi murah.
• Hasil pencarian adalah artefak biasa, sehingga dapat diekspor atau ditampilkan seperti hasil lainnya.