Знімок і глибина
Камера фіксує кадр, а сенсор LiDAR вимірює відстань до всього, що потрапило в кадр. Якщо в телефоні немає LiDAR, глибину оцінює модель машинного навчання.
- LiDAR
- Карта глибини
- Модель ML (запасний варіант)
Технології
Що відбувається за секунду між запитанням і відповіддю
Коли ти питаєш «що переді мною?», телефон у твоїй руці запускає цілий механізм: від знімка й вимірювання глибини, через моделі ШІ, до голосу та вібрації. Гортай, щоб побачити кожен крок.
Аналіз на пристрої
Перш ніж щось залишить телефон, той самий кадр аналізують дві моделі: одна розпізнає, чи ти надворі, чи в приміщенні, друга за характерними точками визначає, чи змінилася сцена з попереднього кадру. Якщо ні, надсилати немає сенсу.
- Моделі ML
- Характерні точки
- На пристрої
Безпечне надсилання до ШІ
Кадр і контекст розмови вирушають до моделі GPT Realtime від OpenAI у хмарі. Карта глибини залишається в телефоні, а вібрація обчислюється з неї локально. App Attest підтверджує, що під'єднується справжній застосунок, а весь трафік зашифровано. Ця робота вимірюється в токенах, і саме з неї складається ціна. Дані надсилаються анонімно, і жодна людина не має доступу до того, що бачить камера.
- GPT Realtime
- App Attest
- Шифрування
- Токени
Голос і вібрація
Стовпчик, праворуч, дуже близько.
Відповідь повертається голосом: коротко й передбачувано, що це, з якого боку, як далеко. Біля перешкоди телефон додатково вібрує, і ця функція працює навіть без інтернету.
- Синтез мовлення
- Тактильний відгук
- VoiceOver
Подивись, як це виглядає на екрані
Увесь цей механізм міститься під одним екраном із чотирма кнопками. Посібник показує кожну з них.