Gemini Live получила функцию Guided Vision для описания объектов через камеру
Компания Google объявила о запуске новой функции Guided Vision для голосового помощника Gemini Live на поддерживаемых Android-устройствах. Инструмент использует искусственный интеллект для создания голосовых описаний предметов, попадающих в объектив камеры смартфона в режиме реального времени.
Возможности и сценарии использования
Новый инструмент позволяет пользователям транслировать изображение с камеры в Gemini Live, чтобы получать голосовые подсказки об окружающем пространстве. Искусственный интеллект помогает изучать мелкий шрифт, искать и идентифицировать конкретные предметы, а также детально описывать различные объекты. Подобный функционал напоминает функцию VoiceOver Live Recognition, которую Apple внедрила для iPhone и Vision Pro.
Пользователи могут не только получать общую информацию об обстановке, но и задавать уточняющие вопросы. Например, ассистент способен прочитать срок годности на упаковке товара. Если нужного предмета нет в кадре, Gemini выдает звуковые сигналы, которые помогают правильно сориентировать камеру смартфона.
Целевая аудитория и ограничения
Функция разработана в первую очередь для людей с полной или частичной потерей зрения, а также для тех, кому требуется визуальная помощь в определенных ситуациях. При этом разработчики подчеркивают, что инструмент имеет важные ограничения безопасности. Компания настоятельно не рекомендует использовать Guided Vision для навигации, безопасного перемещения или обнаружения препятствий, а также рассматривать ее в качестве замены белой трости или других средств мобильности.
Доступность на устройствах Android
Инструмент Guided Vision запускается на совместимых мобильных устройствах под управлением Android. Помимо работы через приложение Gemini, функция интегрирована в службу специараньше возможности Google TalkBack. Пользователи также могут настроить специальный ярлык быстрого доступа в приложении системных настроек на устройствах с Android 9 и выше, после того как нововведение было анонсировано в составе пакета обновлений для устройств Pixel.
Что это значит для пользователей
- Функция полезна людям с нарушениями зрения для чтения мелкого текста, проверки сроков годности и поиска предметов.
- Компания пока не сообщила точную информацию о стоимости и доступности функции на всех типах устройств, кроме требований к версии Android 9 и выше.
- Инструмент нельзя использовать для навигации, поиска препятствий или замены трости и других средств передвижения.
- Доступна интеграция через приложение Gemini, Google TalkBack и настройку специального ярлыка в системе.
Источник: theverge.com
Обсудить в Telegram
