Google Lens ahora te permite buscar con vídeo

Si no puedes capturar lo que deseas buscar con solo una imagen, Google Lens ahora te permitirá tomar un video e incluso usar tu voz para preguntar sobre lo que estás viendo. La función mostrará una descripción general de IA y resultados de búsqueda basados ​​en el contenido del video y su pregunta. Se está implementando hoy en Search Labs en Android e iOS.

Google primero vista previa usando video para buscar en E/S en mayo. Como ejemplo, Google dice que alguien que tenga curiosidad acerca de los peces que está viendo en un acuario puede acercar su teléfono a la exhibición, abrir la aplicación Google Lens y luego mantener presionado el botón del obturador. Una vez que Lens comienza a grabar, pueden decir su pregunta: “¿Por qué nadan juntos?” Luego, Google Lens utiliza el modelo Gemini AI para proporcionar una respuesta, similar a la que ves en el GIF a continuación.

Al hablar sobre la tecnología detrás de la función, Rajan Patel, vicepresidente de ingeniería de Google, dijo El borde que Google está capturando el vídeo “como una serie de fotogramas de imagen y luego aplicando las mismas técnicas de visión por computadora” utilizadas anteriormente en Lens. Pero Google está yendo un paso más allá al pasar la información a un modelo Gemini “personalizado” desarrollado para “comprender múltiples fotogramas en secuencia… y luego proporcionar una respuesta arraigada en la web”.

Todavía no hay soporte para identificar los sonidos en un video, como si estuvieras tratando de identificar un pájaro que estás escuchando, pero Patel dice que eso es algo con lo que Google ha estado “experimentando”.

Google Lens también está actualizando su función de búsqueda de fotografías con la capacidad de hacer una pregunta usando la voz. Para probarlo, apunte su cámara al sujeto, mantenga presionado el botón del obturador y luego haga su pregunta. Antes de este cambio, solo podías escribir tu pregunta en Lens después de tomar una foto. Las preguntas de voz se están implementando a nivel mundial en Android e iOS, pero por ahora solo están disponibles en inglés.