写真と深度
カメラが1フレームを捉えると同時に、LiDARセンサーが画角内のすべてまでの距離を測ります。LiDARのないiPhoneでは、機械学習モデルが深度を推定します。
- LiDAR
- 深度マップ
- MLモデル（代替）
テクノロジー
質問から答えまでの一秒間に起きていること
「前に何がありますか」と尋ねた瞬間、手の中のiPhoneが仕組み全体を動かします。写真の撮影と深度の測定から、AIモデルを経て、音声と振動まで。スクロールして、それぞれのステップをご覧ください。
端末内での解析
データが端末から出る前に、2つのモデルが同じフレームを解析します。1つは屋外か屋内かを判断し、もう1つは特徴点をもとに、前のフレームから場面が変わったかどうかを判定します。変わっていなければ、送信する必要はありません。
- MLモデル
- 特徴点
- 端末内で処理
AIへの安全な送信
フレームと会話の文脈が、クラウド上のOpenAIのGPT Realtimeモデルへ送られます。深度マップは端末内にとどまり、振動はそこから端末上で計算されます。App Attestが接続元は本物のアプリであることを確認し、通信はすべて暗号化されます。この処理はトークンで測られ、料金はここから決まります。データは匿名で送信され、カメラが捉えた内容に人がアクセスすることはありません。
- GPT Realtime
- App Attest
- 暗号化
- トークン
音声と振動
ポール、右、かなり近いです。
答えは音声で返ってきます。短く、いつも同じ形で、何が、どちら側に、どのくらいの距離か。障害物のそばではiPhoneが振動もします。この機能はインターネットがなくても働きます。
- 音声合成
- 触覚フィードバック
- VoiceOver
