Wie Apple Intelligence Ihre App auf ein neues Level heben wird

Auf der World Wide Developer Conference 2024 (WWDC) von Apple wurde Entwicklern und Kunden die Apple-Version der generativen KI vorgestellt: Apple Intelligence. Die zugrunde liegende Technologie von Apple Intelligence unterscheidet sich zwar nicht wesentlich von anderen KI-Lösungen, die Large Language Models (LLMs) verwenden, aber Apple hat eine sehr tiefe Integration in ihre Betriebssysteme und eine Reihe ausgefeilter Datenschutzmechanismen eingeführt. In diesem Artikel möchten wir einen kurzen Überblick darüber geben, was Apple Intelligence für Ihre Apps bedeutet und wie es sich von anderen KI-Lösungen unterscheidet.

Marcos Ramos Rubio — Senior iOS Developer

30. Oktober 2024

Siri und App Intents

Bis jetzt konnten Apps App Intents nutzen, um Inhalte und Aktionen für das System sichtbar zu machen, sodass sie in Spotlight, Kurzbefehlen, Siri und mehr verwendet werden konnten. Die Nutzer mussten jedoch ihre eigenen Kurzbefehle erstellen oder genau wissen, welche Schlüsselwörter sie für Siri verwenden sollten. Mit Apple Intelligence erhält App Intents nun einige neue, leistungsstarke Funktionen.

Um eine App mit Siri und Apple Intelligence zu integrieren, müssen Entwickler sogenannte "assistant schemas” verwenden. Diese Schemata definieren Eigenschaften und stellen sicher, dass App Intents den erforderlichen Protokollen folgen. Dadurch können App Intents nahtlos mit Apples vortrainierten Modellen zusammenarbeiten und für Apple Intelligence verständlich werden. Wenn der Nutzer Siri beispielsweise sagt: „Öffne das letzte Foto“, wird Apple Intelligence verstehen, dass der Nutzer ein Foto öffnen möchte, und eine App anzeigen, in der zuletzt ein Foto angeschaut wurde.

In einem aktuellen Newsletter von Bloomberg kamen weitere Details zu Apples Plänen für 2025 und Apple Intelligence ans Licht. Offenbar wird es nicht nur möglich sein, bestimmte App-Funktionen über Siri auszulösen, sondern auch alle möglichen Prozesse zu automatisieren, indem man einfach mit dem AI-Assistenten spricht. Dies eröffnet eine völlig neue Art der Interaktion mit dem Smart Home. Mark Gurman beschreibt es in dem Artikel als „Home-Automatisierung auf Steroiden“.

Wenn Ihr Produkt Teil dieser Automatisierungen sein und einzigartige Funktionen bieten soll, ist eine iOS-App mit den notwendigen App Intents unerlässlich. Wir empfehlen, schon jetzt über diese Benutzerabläufe nachzudenken, damit Sie für 2025 bereit sind.

Aktuelle Schemata

Im aktuellen iOS 18.1 Beta gibt es nur drei "assistant schema" wobei später weitere Schemata hinzugefügt werden sollen.

  • E-Mail: Die Schemata für E-Mails ermöglichen es Entwicklern, E-Mails oder Entwürfe zu erstellen, zu aktualisieren, zu löschen und zu archivieren sowie E-Mails zu senden, weiterzuleiten oder auf E-Mails zu antworten.
  • Foto und Video: Das Foto-Schema enthält Aktionen zum Erstellen, Löschen, Aktualisieren, Duplizieren und Öffnen von Alben, Fotos oder Videos sowie einige Bearbeitungsfunktionen wie das Ändern von Tiefenschärfe, Sättigung oder Wärme sowie das Zuschneiden und Hinzufügen von Filtern, um einige Beispiele zu nennen.
  • In-App-Suche: Im In-App-Suche-Schema ist derzeit nur eine Aktion möglich. Sie ermöglicht es Apple Intelligence, die Suche innerhalb einer App zu nutzen, um relevante Daten zu finden.
Bald verfügbare Schemata

Apple hat uns nur einen kurzen Einblick in die Namen der Schemata gegeben. Weitere Details werden folgen. Dies ist die bereitgestellte Liste:

  • Bücher

  • Browser

  • Kameras

  • Dokumentenleser

  • Dateiverwaltung

  • Journale

  • Präsentationen

  • Tabellenkalkulationen

  • Whiteboards

  • Textverarbeitungsprogramme

Wie bereits erwähnt, erwarten wir, dass im Laufe des Jahres noch mehr Funktionen zur Liste hinzugefügt werden. Die Hausautomatisierung wird ein wichtiger Bestandteil des Erfolgs von Apple Intelligence sein.

Tools zur Textbearbeitung

Eine weitere, direktere Möglichkeit, das Benutzererlebnis in Apps zu verbessern, besteht darin, Tools zur Textbearbeitung zu unterstützen. Diese sind in Textansichten verfügbar und helfen dabei, einfach Texte zu optimieren. Nutzer können Apple Intelligence nutzen um:

  • Texte umzuschreiben, um sie freundlicher, professioneller oder prägnanter zu gestalten.
  • Geschriebenen Text zusammenzufassen.
  • Wichtige Punkte aus einem Text zu extrahieren.
  • Text in eine Liste oder Tabelle zu konvertieren.

Entwickler können die Leistungsfähigkeit der Tools direkt nutzen, indem sie einfach native UI-Komponenten verwenden.

Benutzerdefinierte Textansichten können auch die neuen Funktionen, die mit Apple Intelligence eingeführt wurden, übernehmen, benötigen jedoch eine besondere Behandlung.

Fazit: Seien Sie bereit für KI im Jahr 2025!

Obwohl Apple Intelligence nicht eine Vielzahl von neuen Funktionen zur Nutzung innerhalb einer App eröffnet, werden die Nutzer erwarten, dass Apps nahtlos mit Apple Intelligence zusammenarbeiten. Die Verwendung nativer Komponenten und die Anpassung benutzerdefinierter UI-Elemente zur Unterstützung von Apple Intelligence werden entscheidend sein, sobald die Verbreitung von Apples neuem Assistenten zunimmt. Wenn Apple Intelligence ähnlich funktioniert wie der erweiterte Sprachmodus von ChatGPT, wird sich in den nächsten zwei Jahren unsere Art, Apple-Geräte zu steuern und mit ihnen zu kommunizieren, grundlegend verändern. Einige der oben genannten Funktionen werden mit dem Update iOS 18.1 in den USA eingeführt. Es ist unklar, wann alle Funktionen verfügbar sein werden und wann genau Nutzer in der EU Zugang zu Apple Intelligence erhalten werden. Fakt ist: es wird kommen!

Jetzt ist die Zeit, über Benutzerabläufe, Anwendungsfälle und Geschäftsfälle für Ihre Produkte nachzudenken. Seien Sie KI-bereit für 2025!

TL;DR
  • Apple Intelligence ermöglicht es Nutzern, Aktionen in Drittanbieter-Apps mit Siri auszuführen.

  • Apps können bestimmten Themen (sogenannten Schemas) zugeordnet werden, und Apple Intelligence wird Ihre App basierend auf Benutzeranfragen vorschlagen oder Befehle ausführen.

  • Apps profitieren von integrierten Tools wie Umschreiben, Korrekturlesen und Zusammenfassen von Text.

  • Mit Funktionen wie dem Bild-Spielplatz und dem Bereinigungstool können Nutzer direkt in den Apps Bilder erstellen und verbessern.

  • Apple Intelligence sorgt für den Schutz der Privatsphäre der Nutzer durch geräteinterne Verarbeitung und Private Cloud Compute.

Ähnliche Beiträge

BlogPost

Embedded , Smart Products

Spelsberg und grandcentrix entwickeln smarte Ladestation

Der Markt für Light Electric Vehicles erlebte in den letzten Jahren einen immensen Zuwachs. E-Bikes, E-Scooter u. ä. sind mittlerweile nicht mehr aus den Städten wegzudenken und fester Bestandteil der modernen Mobilität. Dementsprechend steigt auch die Nachfrage nach Ladestationen, die das Laden von E-Bikes, aber auch Pedelecs und weiterer LEVs an allen erdenklichen Orten ohne das Mitführen eines Ladegeräts ermöglichen sollen. Unser Kunde Spelsberg hat dieses Potenzial erkannt und noch einen Schritt weitergedacht. Zusätzlich zur klassischen Ladestation vertreibt Spelsberg nun auch eine smarte Variante. Doch was bedeutet „smart“ hier genau? Neben den Vorteilen für den Endnutzer, wie das schnelle Auffinden der nächsten Ladestation über eine App, bietet die smarte Ladestation auch dem Betreiber viele Vorteile und Erleichterungen: Eine Echtzeitüberwachung und Fernsteuerung aller sich in Betrieb befindenden Ladestationen ermöglichen es zum Beispiel, Betriebszeiten einzustellen und Daten über die Nutzung sowie Fehlermeldungen in Echtzeit zu erhalten. Dazu mussten die Ladestationen allerdings zunächst schnell und einfach ins Internet gebracht werden: Wir von grandcentrix haben genau hier unterstützt.