Gemini LiveにGuided Vision、カメラに映る文字や物を音声で説明

Googleは2026年10月1日、Gemini Liveでカメラに映る内容を音声で説明する「Guided Vision」の提供を始めました。小さな食品ラベルを読んだり、身近な物を探したりする場面で、質問を重ねながら説明を受けられる機能です。

映っているものを尋ね、カメラの向きも調整できる

Guided Visionを有効にしてカメラを共有すると、周囲の様子をリアルタイムの音声で説明してもらえます。気になる文字や物について、そのまま詳しく質問することもできます。

対象が画面から外れていたり、近すぎたりすると、カメラをゆっくり右へ向ける、下へ傾けるなど、映し方を調整するための声かけが届きます。説明に必要な部分をカメラで捉えるための案内です。

小さなラベルから、落としたイヤホンまで

Googleが挙げる利用例には、食品の小さな栄養成分表示や薄暗い店のメニューを読むこと、床に落としたイヤホンやスパイス棚のコショウを探すことがあります。服の色や柄について尋ねたり、部屋の配置を説明してもらったりする使い方も紹介されています。

開発には、目の見えない人や見えにくい人のコミュニティと、視覚支援サービスのAiraが協力しました。Googleによると、AiraのTrusted Testerネットワークから1,000人以上が参加し、日常の場面でのテストや改善に携わったとのことです。

設定でオンにして開始、ショートカットも選べる

Geminiモバイルアプリのプロフィールから設定を開き、「Use Guided Vision in Live」をオンにします。その後、Gemini Liveを開いてカメラを共有すると、Guided Visionを利用できます。

Androidのユーザー補助設定では、画面上のユーザー補助ボタン、画面下端からの2本指スワイプ、両方の音量キーの長押しで起動するショートカットも選べます。TalkBackの利用者は、最新版に更新したうえで、画面を3本指でタップしてメニューからGuided Visionを選ぶ方法もあります。設定項目やショートカットの利用可否は端末によって異なる場合があります。

対象はAndroid 9以降の対応端末で、Gemini Liveが対応する地域・言語です。提供は段階的に進むため、条件を満たしていても設定項目がまだ表示されないことがあります。GeminiアプリとAndroidのシステムソフトウェアは、その端末で利用できる最新バージョンに更新しておきましょう。

白杖の代わりや、移動の安全を任せる用途には使わない

生成AIによる説明には誤りがあり得ます。Guided Visionは医療機器でも移動補助具でもなく、白杖の代わりにもなりません。

ナビゲーション、安全な移動の案内、障害物の検知を目的とした機能ではないため、これらの用途には使わないでください。移動の際は、これまで使ってきた移動補助具を引き続き使い、安全な移動のための習慣や手順を守ってください。