iOS 18.2 дозволяє запитувати Siri про те, що відображається на вашому екрані

Apple випустила першу бета-версію iOS 18.2 для розробників, ще до того, як iOS 18.1 стане загальнодоступною. Ця версія містить кілька нових функцій, пов’язаних з Apple Intelligence, серед яких — інтеграція з ChatGPT. Завдяки цьому оновленню Siri тепер може надавати детальну інформацію про те, що зображено на екрані вашого пристрою, що є довгоочікуваною можливістю для користувачів.

Використовуйте Siri, щоб запитати ChatGPT, що ви бачите на екрані

З інтеграцією ChatGPT у Siri, Apple значно розширює можливості віртуального помічника, дозволяючи йому відповідати на складні запитання, використовуючи технологію OpenAI. Тепер Siri може не тільки відповідати на текстові запити, але й розпізнавати контент, який відображається на екрані вашого пристрою. Наприклад, переглядаючи відео чи фотографію в Instagram, можна запитати Siri, “де це місце?” або “що за будівля на цій фотографії?” Siri зробить скріншот і передасть його до ChatGPT, який проаналізує зображення та відповість, використовуючи свої знання та базу даних.

З міркувань конфіденційності Siri перед кожною дією запитує дозвіл користувача на створення та надсилання скріншота в ChatGPT.

Ця функція особливо корисна для тих, хто не має iPhone 16, який оснащений функцією Visual Intelligence, що автоматично розпізнає об’єкти в реальному часі за допомогою камери. Visual Intelligence, яка працює на базі Apple Intelligence, ChatGPT і Google, дозволяє користувачам натиснути на Camera Control, щоб отримати інформацію про об’єкти перед камерою.

На iPhone 15 Pro або сумісному iPad, користувачі можуть просто зробити фото та попросити Siri і ChatGPT про будь-які деталі щодо зображеного.

Apple також працює над власною технологією розпізнавання екранного контенту, яка буде базуватись на мовних моделях Apple Intelligence. Ця функція планується до випуску в іншому оновленні iOS 18, яке, ймовірно, вийде наступного року. З її появою Siri зможе глибше розуміти контекст і виконувати дії, спираючись на те, що відображено на екрані, причому всі процеси оброблятимуться безпосередньо на пристрої для забезпечення максимальної конфіденційності та швидкодії.