Mit Visual Intelligence kannst Du rasch und unkompliziert Informationen über Texte und Objekte in Deiner Nähe erfahren.

Visual Intelligence wurde im Zuge von iOS 18.4 und der Einführung von Apple Intelligence in der Schweiz ausgerollt. Wir werfen einen ersten Blick auf die Möglichkeiten dieser neuen Anwendung von Apple.

Voraussetzungen

Visual Intelligence wird nur von iPhones unterstützt, welche auch Apple Intelligence bekommen. Das sind aktuell die folgenden Modelle:

• iPhone 15 Pro und iPhone 15 Pro Max
• iPhone 16e, 16, 16 Plus, 16 Pro und 16 Pro Max

Visual Intelligence starten

Um Visual Intelligence zu starten, hast Du – je nach iPhone Modell – bis zu vier Möglichkeiten:

1. Über die Kamerasteuerung
2. Über die Aktionstaste
3. Über das Kontrollzentrum
4. Über den Sperrbildschirm

Starten über die Kamerasteuerung

Gilt ausschliesslich für die iPhone Modelle iPhone 16, 16 Plus, 16 Pro und 16 Pro Max. Aktuell verfügen nur diese Modelle über die Kamerasteuerung.

Halte zum Starten von Visual Intelligence einfach die Kamerasteuerung gedrückt.

Starten über die Aktionstaste

Nebst den iPhone Modellen iPhone 16, 16 Plus, 16 Pro und 16 Pro Max gilt dies auch für das iPhone 16e sowie das iPhone 15 Pro und Pro Max.

Um die Aktionstaste entsprechend zu konfigurieren, gehe wie folgt vor:

1. Öffne die Einstellungen
2. Aktiviere die Taste «Aktionstaste»
3. Wische nun unter Verwendung von VoiceOver mit einem Finger nach rechts bis VoiceOver z.B. «Stummmodus – Einstellbar» sagt. Wische nun mit einem Finger nach oben bzw. unten, bis zu Visual Intelligence.

Ohne VoiceOver kannst Du einfach mit einem Finger nach links bzw. rechts wischen, bis zu Visual Intelligence.

4. Du brauchst diese Einstellung nicht zu bestätigen. Schliesse sicherheitshalber die Einstellungen, damit Du dies nicht aus Versehen wieder verstellst.

Wenn du nun 1 Sekunde die Aktionstaste gedrückt hältst, öffnet sich Visual Intelligence.

Starten über das Kontrollzentrum

Nebst den iPhone Modellen iPhone 16, 16 Plus, 16 Pro und 16 Pro Max gilt dies auch für das iPhone 16e sowie das iPhone 15 Pro und Pro Max.

Um das Kontrollzentrum entsprechend zu konfigurieren, gehe wie folgt vor:

1. Öffne das Kontrollzentrum, indem Du unter Verwendung von VoiceOver ein Element in der Statuszeile berührst und anschliessend mit drei Finger vom unteren Bildschirmrand in den Bildschirm wischst.

Ohne VoiceOver kannst Du mit einem Finger von der oberen rechten Ecke in den Bildschirm wischen

2. Aktiviere nun die Taste «Steuerung hinzufügen», welche sich in der oberen linken Ecke des Bildschirms befindet
3. Aktiviere jetzt die Taste «Steuerelement hinzufügen». Diese Taste befindet sich am unteren Bildschirmrand.
4. Aktiviere unter der Überschrift «Apple Intelligence & Siri» die Taste «Visual Intelligence»

Starten über den Sperrbildschirm

Nebst den iPhone Modellen iPhone 16, 16 Plus, 16 Pro und 16 Pro Max gilt dies auch für das iPhone 16e sowie das iPhone 15 Pro und Pro Max.

Um den Sperrbildschirm entsprechend zu konfigurieren, gehe wie folgt vor:

1. Öffne Einstellungen
2. Öffne den Menüpunkt «Hintergrundbild»
3. Gehe zu «Hintergrund für Sperrbildschirm»
4. Aktiviere zum Beispiel am unteren rechten Bildschirmrand «Kamera entfernen»
5. Aktiviere nun die Taste «Schnellaktion hinzufügen»
6. Aktiviere unter der Überschrift «Apple Intelligence & Siri» die Taste «Visual Intelligence»
7. Um die Anpassung zu bestätigen, aktiviere oben rechts die Taste «Fertig»

Tasten in Visual Intelligence

Der Bildschirm von Visual Intelligence besteht lediglich aus drei Elementen:

• Mit der Taste «Fragen», welche sich links unten befindet, bekommst Du Informationen zu Deiner Umgebung, welche die Kamera eingefangen hat
• Mit der Taste «Suchen», welche sich rechts unten befindet, wird eine Google Suche mit dem Objekt gestartet, das sich im Blickfeld Deiner Kamera befindet.
• Und mit der Taste «Foto aufnehmen», welche sich unten in der Mitte befindet, kannst Du vorab gezielt ein Foto erstellen und danach mit Fragen oder Suchen weiterfahren

Anwendungsmöglichkeiten von Visual Intelligence

Mit Text interagieren

Du kannst Visual Intelligence verwenden, um mit Text in deiner Umgebung auf verschiedene Weise zu interagieren. Du kannst beispielsweise Visual Intelligence Text zusammenfassen und übersetzen lassen oder den Text laut vorlesen lassen. Visual Intelligence kann auch Kontaktinformationen in Texten identifizieren, wie zum Beispiel Telefonnummern, E-Mail-Adressen oder Websites, und je nach Textart Aktionen ausführen.

Text zusammenfassen

1. Öffne Visual Intelligence
2. Richte die Kamera auf einen Text und aktiviere die Taste «Foto aufnehmen» oder drücke bei entsprechenden Geräten auf den Kamerakontroll-Knopf
3. Aktiviere die Taste «Weitere Aktionen», nun öffnet sich ein Menü mit mehreren Optionen
4. Aktiviere jetzt die Taste «Zusammenfassen»
5. Der Text wird zusammengefasst und visuell angezeigt

In meinen Tests konnte ich diesen Text allerdings mit VoiceOver nicht vorlesen lassen

Text laut vorlesen lassen

1. Öffne Visual Intelligence
2. Richte die Kamera auf einen Text und aktiviere die Taste «Foto aufnehmen» oder drücke bei entsprechenden Geräten auf den Kamerakontroll-Knopf
3. Aktiviere die Taste «Weitere Aktionen», nun öffnet sich ein Menü mit mehreren Optionen
4. Aktiviere jetzt die Taste «Vorlesen»
5. Nach der Analyse des Textes startet das Vorlesen automatisch
6. Nun hast Du am oberen Bildschirmrand verschiedene Tasten, welche Du unter Verwendung von VoiceOver mit vertikalem Wischen mit einem Finger erreichst
   1. Pause: Pausiert das Vorlesen
   2. Aktivieren: Das Vorlesen wird fortgesetzt
   3. Minus: Spult etwas zurück
   4. Plus: Spult etwas nach vorne

Je nach Qualität des Fotos kann es sein, dass die Option «Vorlesen» nicht angezeigt wird. Da hilft es, erneut ein Foto des Textes zu erstellen.

Telefonnummer anrufen, E-Mail beginnen oder Website aufrufen

1. Öffne Visual Intelligence
2. Richte die Kamera auf einen Text und aktiviere die Taste «Foto aufnehmen» oder drücke bei entsprechenden Geräten auf den Kamerakontroll-Knopf
3. Wenn Du VoiceOver verwendest, wische so oft nach rechts, bis Du «Erkannte Daten und z.B. Telefonnummer» hörst

Ohne VoiceOver kannst Du auf die drei Punkte tippen, um alle gefundenen Resultate anzeigen zu lassen

4. Mit einem Einfingerdoppeltipp aktivierst Du diese Taste. In diesem Beispiel würde sofort einen Anruf an die gefundene Nummer gestartet werden

Ohne VoiceOver reicht es, wenn Du die entsprechende Taste einmal antippst

5. Gleich verhält es sich mit Internet- oder E-Mail-Adressen

Kalenderereignis erstellen

1. Öffne Visual Intelligence
2. Richte die Kamera auf einen Text und aktiviere die Taste «Foto aufnehmen» oder drücke bei entsprechenden Geräten auf den Kamerakontroll-Knopf
3. Wenn Du VoiceOver verwendest, wische so oft nach rechts, bis Du «Weitere Aktionen» hörst. Aktiviere nun diese Taste.

Ohne VoiceOver kannst Du auf die drei Punkte tippen, um alle gefundenen Resultate anzeigen zu lassen

4. Jetzt wird Dir das Startdatum, das Enddatum und der Ort der Veranstaltung angezeigt
5. Aktiviere die Taste mit dem Startdatum und es wird Dir ein neues Kalenderereignis erstellt

In meinem Beispiel wurde das Startdatum, das Enddatum sowie der Veranstaltungsort erkannt. Allerdings wurde dann nur der Ort und der Beginn des Ereignisses in den Kalendereintrag übernommen. Den Titel und das Enddatum hätte ich dann noch manuell anpassen müssen.

ChatGPT nach Informationen fragen

Du kannst Visual Intelligence verwenden, um ChatGPT nach Informationen zu Objekten in deiner Umgebung zu fragen.

Als erstes solltest Du Dein ChatGPT Konto mit Apple Intelligence verknüpfen. Und das geht so:

1. Öffne Einstellungen
2. Gehe zu «Apple Intelligence & Siri»
3. Aktiviere unter dem Titel «Erweiterungen» die Taste «ChatGPT»
4. Aktiviere nun die Taste «Einrichten»
5. Tippe auf «Weiter»
6. Aktiviere nun die Taste «ChatGPT aktivieren» – wenn Du ein ChatGPT Konto hast, aktiviere die Taste «ChatGPT mit einem Account nutzen»

Und nun kannst Du mit Visual Intelligence und ChatGPT Informationen über Deine Umgebung bekommen:

1. Öffne Visual Intelligence
2. Richte die Kamera auf ein Objekt vor Dir
3. Aktiviere nun die Taste «Fragen»
4. Auf dem Bildschirm erscheint ein Text über das fotografierte Objekt
5. Wenn Du noch mehr Wissen möchtest, aktiviere am unteren Bildschirmrand die Taste «Nach Details fragen»
6. Jetzt kannst Du eine Frage tippen oder diktieren, um noch mehr über das Objekt zu erfahren
7. Aktiviere nun die Taste «Submit» (Senden)

Google nach ähnlichen Objekten durchsuchen

Du kannst Visual Intelligence verwenden, um Google nach Objekten zu durchsuchen, die denen in deiner Umgebung ähneln.

1. Öffne Visual Intelligence
2. Richte die Kamera auf ein Objekt vor Dir
3. Aktiviere nun die Taste «Suchen»
4. Auf Deinem iPhone wird die Google Suche in Safari geöffnet und sie zeigt die fotografierten oder ähnlichen Produkte an

Fehlende Funktionen

Die beiden von Apple angepriesenen Funktionen, Informationen über einen Ort abrufen und Informationen zu Tieren und Pflanzen erhalten, scheinen im Moment noch nicht verfügbar zu sein. Auf jeden Fall hat dies bei meinen Tests nicht funktioniert.

Erstes Fazit

Visual Intelligence ist wie von Apple nicht anders gewohnt sehr übersichtlich und benutzerfreundlich gemacht. Bis auf wenige Funktionen ist auch alles mit VoiceOver zugänglich. Ich gehe davon aus, dass die noch nicht zugänglichen Elemente mit einem nächsten Update angepasst werden.

Die meisten Funktionen sind sicherlich sehr nützlich und hilfreich. Entfällt doch z.B. das mühsame Abtippen einer Telefonnummer. Oder auch das Suchen in Google nach einem vor mir stehenden Objekt ist schon praktisch. Google-Kenner wissen aber schon länger um diese Funktion in den Google Anwendungen.

Es wird sich aber schlussendlich zeigen, wie Visual Intelligence meinen Alltag verändert oder im besten Fall verbessert. Dazu braucht es aber noch etwas mehr Erfahrungen im Alltag.