Розуміння базових моделей Apple Intelligence на пристрої та сервері

Apple анонсувала нові мовні моделі штучного інтелекту на WWDC. Ці моделі працюють як локально на пристроях Apple, так і на серверах штучного інтелекту Apple з процесорами Apple Silicon.

Штучний інтелект (ШІ) спирається на мовні моделі, які забезпечують вхідні знання для навчання ШІ, щоб отримувати результати для запитів (підказок).

Використовуючи мовні моделі, комп'ютери можна навчати на конкретних темах, щоб вони діяли як експерти з певних питань.

Вирівнювання ШІ (AI alignment) відноситься до процесу розробки та впровадження систем ШІ таким чином, щоб вони відповідали цілям, цінностям та бажаним результатам людини. Іншими словами, вирівнювання має на меті тримати ШІ на завданні і не допускати, щоб він став небезпечним, відхиляючись від своєї первинної мети.

На WWDC 2024, Apple анонсувала Apple Intelligence - власний ШІ Apple, який забезпечуватиме як локальний, так і серверний ШІ. Використовуючи нові моделі в Apple Intelligence, ШІ від Apple стане більш цілеспрямованим, швидким і точним.

Базові мовні моделі (Foundation language models)

Apple називає свої загальні генеративні моделі ШІ базовими мовними моделями. Ці моделі - великі мовні моделі (LLM), які використовують до 3 мільярдів параметрів та призначені для базового генеративного ШІ, яким можуть користуватися більшість користувачів.

Apple називає ці дві моделі AFM-on-device і AFM-on-server відповідно.

Apple також має інші моделі загального призначення, вбудовані в Apple Intelligence. Ці моделі можуть працювати як на пристроях, так і на серверах Apple.

Apple пропонує досить детальний сорокасемисторінковий доклад про те, як працюють її базові мовні моделі. З технічної точки зору, базові моделі Apple використовують основні техніки ШІ, які включають:

• Архітектура трансформера

• IO Embedding Matrix

• Попередня нормалізація

• Нормалізація запиту

• Групувальна увага до запиту

• Активація SwiGLU

• Позиційні вбудування RoPE

• Тонке налаштування

• Внесення і коригування людьми

Apple Intelligence також використовує автоматичний веб-краулер під назвою AppleBot. Сайти можуть повідомити AppleBot не використовувати їхній контент, відмовившись у файлах robots.txt.

Для коду ШІ, Apple Intelligence також навчається на відкритому програмному забезпеченні, розміщеному на GitHub, з якого він навчається та конденсує, автоматично видаляючи дублікати.

Доклад Apple описує, як працюють моделі та методи навчання в деталях, включаючи деяку складну математику наприкінці.

Приватні обчислення у хмарі (Private Cloud Compute)

Apple Private Cloud Compute (PCC) - це віддалений сервіс ШІ, який використовує всі згадані вище моделі, а також має доступ до додаткових моделей для розширеного інтелекту.

Відповідно до цього блогу, який описує PCC, Apple має кілька цілей з PCC, включаючи швидкість, точність, конфіденційність і надійність сайту.

PCC також використовує той же Secure Enclave і Secure Boot, що і споживчі пристрої Apple, щоб гарантувати, що операційна система і дані не можуть бути підроблені.

Як і багато інших пропозицій ШІ від технологічних компаній, PCC забезпечує віддалене виконання запитів ШІ, але з більш високою продуктивністю.

Сторінка досліджень машинного навчання Apple про її моделі також містить обговорення того, як Apple підходить до Відповідального ШІ.

Apple підсумовує свої базові моделі так:

"Наші моделі були створені з метою допомоги користувачам у виконанні повсякденних завдань на їх пристроях Apple, і розроблені відповідально на кожному етапі та під керівництвом основних цінностей Apple. Ми з нетерпінням чекаємо на можливість поділитися більш детальною інформацією про нашу широку родину генеративних моделей, включаючи мовні, дифузійні та кодувальні моделі."

Apple Intelligence обіцяє забезпечити користувачів iOS та Mac швидшим, оптимізованим ШІ як на пристроях, так і у хмарі. Нам доведеться почекати і побачити, як це здійсниться з майбутнім випуском iOS 18 та наступною ітерацією macOS.