گوگل لنز (Google Lens) حالا به کاربران اجازه می‌دهد با ضبط یک ویدیو به جستجو بپردازند و حتی از صدای خود برای سوال‌کردن درباره چیزی که می‌بینند استفاده کنند.

گوگل اولین‌بار در ماه مه و رویداد I/O خود قابلیت جستجو براساس ویدیو را نشان داد. غول غناوری در آن زمان برای معرفی ویژگی خود گفته بود که به‌عنوان مثال اگر شخصی در مورد ماهی‌های یک آکواریوم کنجکاو است، می‌تواند با برنامه Google Lens گوشی خود از آن ویدیو بگیرد و حتی سوال‌هایی مانند «چرا با یکدیگر شنا می‌کنند؟» را بپرسد.

سپس گوگل لنز با کمک مدل Gemini AI پاسخ سوالات را به شما نمایش خواهد داد. در گیف زیر بیشتر می‌توانید کاربرد این ویژگی را مشاهده کنید:

اضافه‌شدن امکان جستجو با ویدیو به گوگل لنز

«راجان پاتل»، معاون مهندسی گوگل درباره این ویژگی به The Verge می‌گوید که گوگل در آن ویدیو را «به‌عنوان مجموعه‌ای از فریم‌های تصویر» ضبط می‌کند و «سپس همان تکنیک‌های بینایی رایانه‌ای که قبلاً در لنز وجود داشته را به کار می‌برد.» طبق توضیحات پاتل، سپس اطلاعات به یک مدل «سفارشی» از هوش مصنوعی جمینای انتقال پیدا می‌کند که برای «درک مرتب چند فریم و سپس ارائه پاسخی از نتایج وب» ساخته شده است.

البته این ویژگی هنوز نمی‌تواند صداهای موجود در ویدیوها (مانند صدای پرندگان) را تشخیص بدهد، اما پاتل می‌گوید که گوگل در حال آزمایش چنین ویژگی است. هم‌اکنون در Search Labs اندروید و iOS می‌توان از این قابلیت استفاده کرد.

درنهایت، با ویژگی جدید دیگری که به گوگل لنز اضافه شده است، می‌توانید هنگام ضبط ویدیو از هوش مصنوعی گوگل سوال بپرسید و پاسخ آن‌ها را دریافت کنید. برای استفاده از این ویژگی، باید دوربین خود را به سمت سوژه بگیرید، سپس درحالی که در حال ضبط ویدیو هستید، سوال خود را بپرسید.

در گیف زیر نحوه عملکرد این قابلیت را می‌توانید مشاهده کنید:

تا پیش از اضافه‌شدن این ویژگی، بعد از گرفتن عکس فقط می‌توانستید سوال خود را در Lens تایپ کنید.

قابلیت سوالات صوتی در سراسر جهان برای اندروید و iOS منتشر شده است، اما درحال‌حاضر فقط از زبان انگلیسی پشتیبانی می‌کند.