Android 搭載 AI 功能 手機更能理解文意、甚至可以防詐騙

Google I/O 2024大會進入第二天，Android 生態系總裁 Sameer Samat在官方部落格上，公佈Android搭載 Google AI 的各項功能更新。包括「畫圈搜尋」直接內建在使用者體驗裡，以簡單手勢搜尋在手機上看到的任何內容，不需要停止正在進行的操作，或切換到其他應用程式。這項功能目前在超過1億臺裝置應用，以三星爲主，即將擴展爲全螢幕搜尋，並支援更多Pixel 和三星裝置。

Google指出，這項功能支援直接用手機和平板電腦畫圈搜尋，以學生爲例，圈出遇到困難的部分時，不用離開數位資訊表或課程大綱，就可以獲得逐步的指引，解決許多物理和數學應用題。今年稍晚，畫圈搜尋還能更進一步解決與符號公式、圖表和圖形等相關更復雜的問題，主要是Google的新模型系列 LearnLM。

Gemini以生成式 AI 更準確地瞭解螢幕畫面上內容的上下文，還有正在使用的應用程式。未來可以把生成的圖片拖放到Gmail、Google 訊息和其他地方，或在 YouTube 影片中點擊「詢問有關這部影片的問題」，獲取特定資訊。Gemini Advanced可以用「詢問有關這個 PDF 的問題」選項，不需要翻閱很多頁，就可以快速獲得答案。這項功能未來幾個月之內將向數億臺裝置推出。

Gemini Nano 將具備完整的多模態功能，Android將是首創裝置內建有基礎模型的行動作業系統。今年稍晚，從 Pixel開始，Gemini Nano 將具備全面的多模態功能，除了處理文字輸入外，手機還能理解更多與上下文相關的資訊，像是影像、聲音和口說對話等。

此外，Gemini Nano 的多模態功能將整合到 TalkBack 功能裡，幫助視障使用者獲得更豐富、更清晰的影像描述。TalkBack使用者平均每天會遇到90張未標記的圖片。這項更新，將會幫助彌補影像資訊不全的問題，未來無論是家人朋友傳來照片中的更多細節，或是網路購物時要選擇的衣服款式和剪裁，都能輕鬆掌握資訊。由於 Gemini Nano 是直接在裝置上運作，因此能快速取得這些描述，而且即使沒有網路時也能正常運作。

Google也指出，正在測試一項Gemini Nano的新功能，在通話過程中如果偵測到與詐騙有關的對話模式，就會立即發出警報。例如，如果有一個「銀行代表」提出不常見的銀行要求，要求你緊急轉帳、使用禮品卡付款，或是提供 PIN 碼或密碼這種個人資訊，你就會收到警報。這項保護可以直接在裝置上進行，因此對話能夠完全保密。我們將在今年稍晚與大家分享更多關於這項選用功能的資訊。