KOMPAS.com - Raksasa teknologi Google memberikan meningkatkan (upgrade) kemampuan Google Lens.

Alat pengenalan gambar (image recognition) itu kini memungkinkan penggunanya untuk melakukan pencarian informasi berdasarkan video.

Ini berbeda dari sebelumnya, yang mana pengguna hanya bisa mencari informasi berdasarkan gambar dan teks.

Contoh penggunaannya, ketika sedang mengunjungi akuarium dan ingin belajar lebih banyak hal tentang ikan, pengguna bisa membuka aplikasi Google Lens di smartphoneiOS dan Android, kemudian menahan (hold) tombol "Search" di tengah layar untuk merekam video berdurasi 20 detik.

Saat merekam, pengguna bakal melihat tulisan "Speak now to ask about this video" (Bicara sekarang untuk bertanya soal video ini). Pengguna pun dapat bertanya dengan suaranya, misalnya "Mengapa ikan tersebut berenang bersama-sama?".

Nantinya, Google Lens akan menampilkan AI Overview, yakni fitur Google Search yang menggunakan kecerdasan buatan (artificial intelligence/AI) Gemini AI, untuk merangkum informasi dari berbagai situs web.

AI Overview juga bakal mencantumkan beberapa tautan (link) jika pengguna ingin menggali informasi secara lebih dalam.

Menurut Rajan Patel selaku Vice President of Engineering di Google, hal ini dimungkinkan karena Google menangkap video yang direkam sebagai serangkaian gambar (frame).

Google kemudian menerapkan teknik visi komputer yang sama dengan yang sebelumnya digunakan di Google Lens.

Namun, raksasa teknologi asal Amerika Serikat itu mengambil langkah lebih jauh, dengan cara meneruskan informasi gambar ini ke model Gemini khusus.

Model Gemini ini dikembangkan untuk memahami beberapa gambar secara berurutan, kemudian memberikan respons yang diambil dari web.

Catatannya, fitur yang sebelumnya dipamerkan di acara Google I/O pada Mei 2024 ini, belum bisa mengidentifikasi suara. Jadi, pengguna belum dapat mengidentifikasi jenis burung dari suara kicauan. Terkait hal itu, Patel mengatakan Google masih bereksperimen.

Untuk privasi, Google mengatakan video yang direkam bakal langsung dihapus setelah dianalisis Gemini. Video tersebut juga tidak akan digunakan untuk melatih model Gemini, baik versi sekarang maupun versi yang akan datang.

Fitur googling pakai video ini baru tersedia dalam bahasa Inggris. Fitur ini sudah digelontorkan dalam program uji coba Search Labs di iOS dan Android.

Pengguna yang tertarik bisa mendaftarkan diri di Search Labs lewat tautan berikut ini.

Pencarian dengan suara

Google Lens juga membawa pembaruan yang memungkinkan pengguna melakukan pencarian dengan suara.

Caranya, pengguna mesti membuka aplikasi Google Lens, mengarahkan kamera ke objek, kemudian menahan tombol "Search" di tengah layar.

Pengguna bakal melihat teks "Speak now to ask about this image" (Bicara sekarang untuk bertanya soal gambar ini). Saat teks itu muncul, pengguna langsung bertanya dalam bahasa Inggris. AI Overview bakal menjawab pertanyaan pengguna.

Mekanisme ini berbeda dari sebelumnya, karena pengguna dulunya hanya bisa menuliskan teks keterangan setelah memotret gambar, sebagaimana dikutip KompasTekno dari The Verge, Sabtu (5/10/2024).

Adapun fitur ini sudah digelontorkan secara global di iOS dan Android. KompasTekno pun sudah kebagian fitur ini, tepatnya di ponsel Android kami untuk aplikasi Google versi 15.38.48.28.arm64 dan Google Lens versi 1.17.240515009.

Saat kami mengarahkan kamera ke laptop dan bertanya, Google Lens dapat memberikan jawaban terkait brand laptop yang kami gunakan.

Fitur ini belum mendukung bahasa Indonesia. Aplikasi ini akan kesulitan memahami pengguna apabila menggunakan bahasa yang berbeda.

Fitur lainnya, kueri belanja Google Lens dan fitur melingkari Circle to Search yang mengidentifikasi produk, kini akan mencakup ulasan (reviews), harga, ketersediaan ritel, penawaran terkini, dan iklan belanja yang relevan. Kami belum kebagian fitur tersebut.