Google、Gemini Liveに視覚支援機能「Guided Vision」を提供開始　カメラ映像をもとに音声で撮影誘導や状況解説

要点

• 米Googleは2026年10月1日、音声対話機能「Gemini Live」において、リアルタイムの視覚支援を行う新機能「Guided Vision」を対応Android端末向けに提供開始した。

• カメラをかざすことで周囲の状況を音声で解説するだけでなく、被写体が収まるよう「右に向けて」「少し下がって」といったカメラの構え方を対話形式で誘導する。

• 視覚支援専門の米Airaと提携し、1,000人以上のテスターによる検証や数万時間のデータ学習を通じて実用性と安全性を高めた。

• 細かい文字の読み取りや落とし物の捜索、服の色柄の確認など日常の確認作業を補助し、日本語を含む多言語に対応する。

• Androidのショートカットや画面読み上げ機能「TalkBack」から素早く起動できる一方、白杖の代用や歩行ナビゲーション用ではない点も明示されている。

• 米Googleは2026年10月1日、同社のAI対話機能「Gemini Live」向けの新機能として、視覚障害者やロービジョン（視覚に障がいや見えづらさがある状態）のユーザーを対象としたリアルタイム視覚支援機能「Guided Vision」の提供を開始したと発表した。対応するAndroid端末上で利用できる。カメラ映像をAIが認識し、周囲の様子を音声で説明するほか、自然な会話を通じて日常の視覚的な確認をサポートする。

音声でカメラの構え方を導く「リフレーミング」機能

Guided Visionの大きな特徴は、ユーザーが周囲を探索する際に、カメラの画角調整をAIが能動的に言葉で指示する点にある。

ユーザーがGemini Liveセッション中にカメラを共有すると、Geminiは対話相手のように応答する。もしカメラが目標物に対して高すぎたり、近すぎたり、あるいは横に外れていたりした場合、Geminiは「ゆっくり右に向けて」「少し下に向けて」「一歩下がって」といった具体的な音声キュー（指示）を出す。これにより、ユーザー自身が適切な撮影位置へカメラを合わせ直す（リフレーミングする）ことができ、AIも正確な回答に必要な視覚情報を得られる仕組みとなっている。

支援専門企業Airaとの共同開発と多言語への対応

本機能の開発にあたり、Googleは視覚障害者コミュニティとの緊密な連携を行ったとしている。2026年9月にAndroidのアクセシビリティ拡充の一環として予告されていた機能が、正式に提供される形となった。

現実世界の文脈に即した学習を行うため、同社は視覚支援サービスを手がける米Aira（アイラ）と提携した。数万時間に及ぶデータ解釈を実施したほか、Airaの登録テスター組織「Trusted Tester」から1,000人以上が参加し、日常動作の中でのストレステストやモデルの改善に協力したという。さらに、Airaの専門スタッフがGoogleのチームと直接連携し、安全基準（ガードレール）の策定や評価を行った。

また、本機能は多言語での対話をサポートしている。日本、インド、ブラジル、シンガポール、インドネシアなどの当事者コミュニティから得たテスト結果やフィードバックを反映しており、各言語において自然な解説や誘導が行えるよう調整されている。

日常の文字認識から物の探索まで幅広く補助

Guided Visionは、日常生活の中で素早い視覚確認が必要となるさまざまな場面を想定して設計されている。

• 細かい文字や複雑な表記の読み上げ：食品パッケージに記載された小さな栄養成分表示、洗濯機や家電製品の操作ダイヤル・コース表示、薄暗い飲食店のメニューなどを読み取る。
• 物体の探索と位置特定：床に落ちたイヤホンの捜索や、スパイスが並ぶ棚の中から黒コショウの瓶を探し出すなど、身の回りの物を探す作業を支援する。
• 特徴の描写と照合：衣類の色、柄、形状を確認し、縞模様のシャツとパンツの組み合わせを確かめたり、上着の色を判別したりできる。
• 周辺環境の把握：初めて訪れた部屋のレイアウトや、テーブルの上に置かれている物の一覧など、空間の概要を音声で説明する。

同社は、視覚障害者だけでなく、高齢者や文字の読み書きが苦手な人、暗い場所で細かい文字を読みたい一般ユーザーにとっても実用的な支援ツールになると説明している。

Androidの操作体系やTalkBackとの連携

利用時の摩擦を減らし、日々のルーティンに組み込めるよう、Androidシステムとの統合も図られている。

• Geminiアプリからの起動：Geminiアプリのプロフィール設定で「Use Guided Vision in Live」を有効にし、Gemini Live内でカメラ共有ボタンをタップすることで開始できる。
• アクセシビリティショートカット：Androidの「設定 > ユーザー補助 > 視覚補助 > Guided Vision」から設定を行うことで、画面上のフローティングボタン、2本指スワイプジェスチャー、または両方の音量キーの同時長押しから即座に起動できる。
• TalkBack連携：Android標準のスクリーンリーダー（画面読み上げ機能）「Google TalkBack」を使用している場合、3本指タップでメニューを呼び出し、Guided Visionを直接選択して立ち上げることが可能となっている。

生成AIとしての限界と安全上の注意

一方でGoogleは、本機能が生成AI技術を用いているため、誤った情報を出力する可能性があると説明している。

Guided Visionは補助的なツールであり、医療機器や移動補助具、白杖（盲人安全つえ）の代わりになるものではないと明記されている。また、道案内や安全な移動の誘導、障害物検知などを目的とした機能ではないため、歩行時や物理的な移動においては、引き続き既存の移動補助具や安全手順を用いるよう注意を促している。