محدودیت استفاده از فقط یک تصویر برای جستجو در وب می‌تواند در برخی سناریوها چالش برانگیز باشد. خبر خوب اینکه گوگل لنز اکنون به کاربران اجازه می‌دهد با ضبط ویدیو و حتی پرسیدن سؤال به‌صورت صوتی، به نتایج دلخواه خود برسند. این قابلیت با استفاده از هوش مصنوعی، براساس محتوای ویدیو و سؤال شما، نتایج مرتبط و همچنین بررسی کلی هوش مصنوعی را نمایش می‌دهد. ویژگی مذکور از امروز در بخش Search Labs برای اندروید و iOS دردسترس قرار گرفت.

گوگل امکان جستجو با ویدیو را برای اولین‌بار در کنفرانس I/O ماه می (اردیبهشت و خرداد ۱۴۰۳) معرفی کرد. با استفاده از این قابلیت، به‌عنوان مثال فردی که می‌خواهد بداند ماهی‌هایی که در آکواریوم می‌بیند از چه گونه‌ای هستند، می‌تواند گوشی خود را مقابل آن‌ها نگه دارد، اپلیکیشن گوگل لنز را باز کند و سپس دکمه‌ی شاتر را نگه دارد. هنگامی‌که ضبط ویدیو شروع شد، کاربر می‌تواند سؤال خود را بپرسد و بگوید: «چرا با هم شنا می‌کنند؟» سپس، گوگل لنز با استفاده از مدل هوش مصنوعی جمنای، پاسخی مناسب ارائه می‌دهد.

Google

راجان پاتل، معاون مهندسی در گوگل، درمورد فناوری زیربنایی جستجو با ویدیو در اپلیکیشن لنز گفت: «گوگل، ویدیو را به‌صورت مجموعه‌ای از فریم‌های تصویر ضبط می‌کند و سپس همان تکنیک‌های بینایی کامپیوتری را که قبلاً در لنز استفاده می‌شد به‌کار می‌برد.» اما غول جستجوی اینترنت با انتقال اطلاعات به مدل سفارشی جمنای که برای درک چندین فریم متوالی و ارائه‌ی پاسخ درست در وب توسعه یافته است، کار را یک قدم جلوتر می‌برد.

به‌نوشته‌ی ورج، درحال‌حاضر، گوگل لنز از امکان تشخیص صداهای موجود در ویدیو مثل صدای پرندگان پشتیبانی نمی‌کند، اما پاتل می‌گوید آزمایش همین ویژگی نیز درحال انجام است. بنابراین انتظار می‌رود در آینده قابلیت‌های جذاب‌تری به جستجوی ویدیویی لنز اضافه شود.

علاوه‌بر ویژگی جستجوی ویدویی، گوگل لنز قابلیت جستجو با عکس را نیز با امکان پرسیدن سؤال با صدا به‌روز کرده است. برای تست این ویژگی، دوربین گوشی را به سمت سوژه‌ی مورد نظر بگیرید، دکمه‌ی شاتر را نگه دارید و سپس سؤال خود را بپرسید. قبل از این تغییر فقط می‌توانستید پس‌از گرفتن عکس، سؤال خود را به‌صورت تایپی در لنز وارد کنید. ارائه‌ی ویژگی سؤالات صوتی در سرتاسر جهان روی نسخه‌ی اندروید و iOS لنز آغاز شده است اما فعلاً فقط از زبان انگلیسی پشتیبانی می‌کند.