juggly.cn

（更新）Zoom Enhance とデュアル露出の情報を追加

Pixel 8 シリーズの発表イベントの中で特に印象的だったのが AI を活用した新機能の充実っぷりです。Pixel 8 と Pixel 8 Pro の新機能といえばほぼ全て AI に基づくものだったと思います。Google 自身も Pixel 8 シリーズを「AI マシン」と表現しており、AI を中心とした設計をアピールしています。本記事では Pixel 8 シリーズに導入された AI 関連の新機能をまとめて紹介します。

本題に入る前に重要ポイントから。フラッグシップスマホである Pixel 8 Pro（たぶん Pixel 8 も同様）は、Google AI の基盤モデルをデバイス上で実行できる初めてのスマホとなります。

基盤モデルとは、Google AI が開発したテキスト、画像、音声、動画などの生成、理解、変換、翻訳などを可能にする大規模な機械学習モデル群のことで、様々な生成 AI タスクを実行する際に利用されます。

Google によると、Pixel 8 Pro にはこれら基盤モデルの効率化バージョンが組み込まれており、Pixel 7 よりも 150 倍も多くの機械学習モデルを計算できるほど AI タスクの実行性能が向上したとのこと。

消しゴムマジックがより実用的に

消しゴムマジックは写真から不要なオブジェクトを除去、もしくはカモフラージュする Google フォトの機能です。Pixel 8 Pro では消した部分の空きスペースを周辺とブレンドさせて埋めるのではなく、生成 AI によって生成された新規ピクセルで埋めることもでき、その結果、人物や自動車などの大きなオブジェクトも除去できるようになりました。

改良された消しゴムマジックは Pixel 8 Pro の発売時から利用でき、他の生成 AI 機能は 12 月の Pixel Feature Drop を目処に順次追加されることになっています。

カスタム画像生成 AI モデルをビルトイン

Pixel 8 Pro にはオンデバイス基盤モデルの実装の第一歩として専用のカスタム画像生成 AI が組み込まれており、ピンチズーム操作で画質を劣化させることなく画像を拡大できるようになりました（最大倍率等は不明）。画像を拡大した際に AI がピクセルを生成して画像を鮮明化するというもので、例えば、刑事ドラマに登場する有能な画像処理班が常識では考えられないレベルにまで画像を鮮明に拡大する神業的な画像処理が可能になります。

光学 2 倍品質のカメラズームが可能に

普段からスマホカメラを多用している私が個人的に最も注目しているのが従来の超解像ズーム機能が生成 AI によって改良され、写真撮影で光学 2 倍品質のカメラズームが可能になったことです。

メインカメラの場合は 2 倍（約 24 ~ 48mm）、光学 5 倍望遠カメラの場合は 10 倍（約 70 ~ 140mm）までの範囲をズームレンズと遜色ない画質で写真を撮影できることになります。ただ、動画にも適用されるのかどうかは不明です。

ベストテイク

集合写真に写る人物全員がカメラ目線の素敵な表情となるように複数枚の連続ショットを合成する Google フォトの新機能です。

編集マジック

生成 AI を活用した Google フォトの実験機能とされています。写真の被写体（人・動物・モノ等）をリサイズ・移動したり、背景を別のテンプレートに置き換えることができます。背景透明化アプリのような使い方ができそうです。

音声消しゴムマジック

機械学習モデルを使用し、スマホで撮影した動画から音声部分を個別のレイヤーに分離して気になる音や背景ノイズを除去、もしくは音量レベルを下げることのできる機能です。例えば、風切音や近くを走行する列車の走行音、動物の鳴き声を消し去ることができます。

Zoom Enhance

Zoom Enhance は生成 AI を活用して写真を撮影後でも光学品質で拡大したり、ピントを合わせる位置を変更できる Google フォト機能。発売後のアップデートで追加される予定となっています。

動画撮影時のデュアル露出

AI が直接関わる機能ではありませんが、カメラ関連の新機能なので参考までに掲載します。

デュアル露出とは、異なる 2 つの iSO 値で撮影された画像を合成することで、低照度ノイズを抑えつつより広いダイナミックレンジの動画を撮影できる機能です。ハイエンドのレンズ交換式カメラやシネマカメラで定番のデュアル ISO と似た機能です。

Pixel 8 シリーズの場合、一方は低照度の映像用、もう一方はハイダイナミックレンジの映像用に最適化された ISO 値で撮影されます。これにより、夕方や逆光といった明暗の差が大きい環境において、暗い部分はノイズによる粒状感が軽減され、明るい部分は白飛びが抑制され、結果的に細部まで美しい動画を撮影できます。

Summarize（テキスト要約機能）

Web 記事やレコーダーアプリの文字起こしテキストを要約して短い概要テキストを生成できます。

翻訳して読み上げ

外国語の Web ページを母国語に翻訳して読み上げさせることができます。

会話中のニュアンスを理解する

音声入力中に一時停止ボタンを押すか、「えーっと」と言葉に詰まった場合は入力を一時停止するようになり、入力タスクが途中で切られないようになります。

音声入力の言語を自動切り替え

音声入力アシスタントとレコーダーアプリは言語設定を手動で変更しなくても、スマホが自動的に発話者の言語を検出し、自動で言語を切り替えて音声入力を実行できるようになりました。

Gboard の AI 拡張

Gboard アプリは Google のデータセンターと連携してスペルミスや文法ミスをシングルタップで修正できるようになり、また、オンデバイス　LLM　モデルによって Gboard のスマート返信機能は会話内容を理解してより質の高い返信文を生成して提案するようになります。

通話スクリーニングの改良

通話スクリーニングとは、ユーザーに代わって Google アシスタントが着信相手に応答する機能です。米国では迷惑電話を自動判別してブロックするスパムフィルター機能も提供されており、この度、AI の改良により、迷惑電話の着信数が平均 50% 低下したとされています。

また、通話相手に流される音声はこれまでいつもの Google アシスタントの声そのままでしたが、今後はより人間的で流暢に発話する音声に置き換えられますし、AI が会話全体の文脈を理解し、スマホの通話画面に返答に適した操作ボタンを提案するようになり、予約確認などの簡単なやり取り程度ならわざわざ電話に出ることなく画面タッチで会話を成立させる機能も導入されます。

Source : Google