Du hast von den smarten Brillen mit Kamera und KI gehört und willst dich vor einem Kauf noch etwas vertiefter über deren Funktionsweise und Einsatzmöglichkeiten orientieren. Dann bist du hier genau richtig.

Und damit du einen Überblick bekommst, was dich in diesem Beitrag erwartet, kannst du mit nachfolgendem Link eine Audioeinführung anhören, generiert von der KI von Notebook.LM

1. So sprichtst du mit Meta AI

1. Meta rufen:

Um Meta zu aktivieren kannst du entweder «Hey Meta» oder «OK Meta» sagen. Meta meldet sich dann mit einem Signalton. Auch hier funktioniert es wie bei Siri: Du musst mit deiner Anweisung nicht warten, bis der Signalton ertönt. Du kannst deine Anweisung direkt an «Hey Meta» anfügen. Zum Beispiel: «Hey Meta, wie wird das Wetter heute?»

2. eine Anschlussfrage stellen:

Nachdem Meta die Antwort gegeben hat, ertönt wieder der Signalton der anzeigt, dass Meta wieder zuhört. Du kannst also eine Anschlussfrage stellen, ohne «Hey Meta» zu wiederholen. Auf diese Weise kannst du mit Meta in einen Dialog treten
Es kann auch sein, dass nach einer Antwort von Meta kein Signalton ertönt und du trotzdem eine Anschlussfrage stellen kannst. Erfolgt darauf jedoch keine Antwort, muss du den Dialog einfach wieder mit «Hey Meta» starten.

3. Du kannst jederzeit unterbrechen:

Wenn dir die Antwort von Meta missfällt, dann brauchst du nicht zu warten, bis Meta fertig gesprochen hat. Du kannst jederzeit, d.h. auch mitten im Satz  unterbrechen und eine neue Anweisung geben.

4. Ein Wort buchstabieren:

Du kannst Meta auch auffordern, ein Wort zu buchstabieren, zum Beispiel mit der Anweisung: «Wie heisst der höchste Berg in der Schweiz? Bitte buchstabieren!»

5. Sprechgeschwindigkeit regulieren:

Wenn Meta für deine Bedürfnisse zu schnell oder zu langsam spricht, so kannst du die Sprechgeschwindigkeit in den Einstellungen in der Meta AI-App unter «Sprache und Stimme» regulieren.

2. Produkte erkennen

Eine speziell nützliche Funktion der KI-Brille ist das Erkennen von Produkten. Man hat beide Hände frei, um das Produkt beispielsweise aus dem Regal zu nehmen und locker vor sich in der Hand zu halten. Eine gewisse Herausforderung für mich als blinder Mann stellt es dar, meinen Blick gezielt auf das Produkt zu richten. Doch meist genügt es vollkommen, wenn ich auch nur ungefähr darauf schaue. Ich habe diese Anwendung in unserem Vorratsraum mit verschiedenen Produkten getestet und mit dem Ergebnis war ich sehr zufrieden. Die Brille hat sogar erkannt, dass in der Weinflasche, die ich in den Händen hielt, gar kein Wein war, sondern Hollundersirup!
Mit der Frage: «Hey Meta, was ist in dieser Flasche bzw. in dieser Verpackung?» bekam ich stets die richtige Antwort. Und wenn ich sagte: «Lies mir vor, was auf dem Etikett  steht, tat sie das auch prompt. Sogar die von Hand angeschriebene Confiture konnte sie samt Datum korrekt benennen. Probier es aus, du wirst begeistert sein!

3. Farben und Muster erkennen

Auch beim Sortieren oder auswählen von Kleidern kann die Brille behilflich sein. Mit der Aufforderung: «Hey Meta, welche Farbe hat dieser Pullover». Erhalte ich eine korrekte Antwort. Und ich kann mir auch detailliert das Druckmuster meiner Bettdecke beschreiben lassen, wenn ich sage: «Beschreibe mir das Muster detailliert».

4. Text vorlesen lassen

Natürlich kann die Brille auch Text vorlesen. Dabei setze ich sie aber nur dort ein, wo sie gegenüber den andern Vorlese-Apps einen Vorteil bringt. Dies beispielsweise um mir zu sagen, welche Art von Schreiben ich in den Händen halte oder was auf einem Schild steht, wenn ich draussen bin. Andere haben darüber berichtet, dass sie die Brille auch einsetzen, um sich in einem Restaurant die Speisekarte vorlesen zu lassen. Wenn ich will, dass Meta mir nicht bloss eine Beschreibung des Textdokuments liefert, sondern mir auch den Inhalt vorliest, muss ich sie entsprechend anweisen. Ich sage beispielsweise: «Lies mir den Inhalt dieses Blattes komplet vor». Oder «Lies mir den Text in der linken Spalte vor». Ich kann auch fragen: Hat es Überschriften auf dem Dokument oder Tabellen?». Man muss da einfach ausprobieren und heraus finden, womit man das beste Ergebnis erzielt.

5. Identifizierung von Bedienelementen

Ob die Kaffeemaschine ein- oder ausgeschaltet ist, das erkennt die Brille gut. Auch die Symbole der einzelnen Tasten kann sie mir benennen. Ich muss nur richtig fragen, zum Beispiel: «Was steht auf der dritten Taste von links».
Auch wie lange der Waschvorgang noch dauert, kann mir die Brille wohl sagen.
Etwas mehr Mühe hat die KI noch, die Knöpfe auf einer Klingelanlage den richtigen Namen zuzuordnen. Es lohnt sich, hier nochmals nachzufragen und beispielsweise mit einem Finger auf den betreffenden Knopf zu zeigen und zu fragen: «Wie lautet der Name links von meinem Finger?» oder so ähnlich.

Notfalls behelfe ich mir und rufe «Be My Eyes».

6. Teleassistenz rufen

Den bedeutendsten Nutzen bringt die Brille für mich persönlich im Bereich der Mobilität. Draussen, wenn ich mit meinem Langstock unterwegs bin. Wenn es beispielsweise darum geht, den Eingang zu einem bestimmten Geschäft zu finden, den Zebrastreifen  für die sichere Strassenüberquerung, den Treppenabgang in die Bahnhofsunterführung, die offene Wagentür beim eingefahrenen Zug usw. usw. dann bin ich froh, wenn ich notfalls mit meiner Brille sehende Hilfe rufen kann, die mich dann durch die Kamera meiner Brille lotst.
Die Inanpsruchnahme sehender Hilfe via meine Brille ist aber auch noch in andern Situationen sehr hilfreich: Zum Beispiel wenn ich einen runter gefallenen Gegenstand suchen muss, wenn ich nicht weiss, ob ein Gerät ein- oder ausgeschaltet ist,  oder wenn ich mit der Bedienung eines Touchbildschirms nicht weiter komme. Der grosse Vorteil beim Einsatz der Brille ist stehts, dass ich  dabei meine Hände frei habe und sie nutzen kann, sei es für die Stockführung, zum tastenden Suchen, zum Bedienen eines Apparates oder zum Halten eines Gegenstandes.

Für die Inanspruchnahme von Teleassistenz gibt es zwei Möglichkeiten:
Ich kann einerseits das Netzwerk «Be my Eyes» anrufen – dazu sage ich einfach «Hey Meta, Be my eyes». Und schon höre ich das vertraute Tonsignal, welches mir anzeigt, dass eine freie Assistenzperson gesucht wird. Und in der Regel meldet sich dann auch jemand schon nach kurzer Zeit. Die Stimme der helfenden Person höre ich über die Bügel meiner Brille und die helfende Person sieht durch die in der Brille verbaute Kamera, wohin ich gerade «schaue» und kann mich mit hilfreichen Anweisungen zum gesuchten Ziel führen.

Die zweite Möglichkeit der Teleassistenz besteht darin, dass ich eine Person aus meinem Bekanntenkreis via Whatsapp anrufe und danach die Kamera an meiner Brille einschalte. Auch so kann mir die Person via Kamera in meiner Brille und gleichzeitiger Sprachverbindung helfen.
Es sind dazu zwei Schritte erforderlich:
Mit «Hey Meta: Whatsappanruf an XY» startest du den Whatsappanruf. Sobald die Verbindung zustande gekommen ist, drückst du zweimal hinter einander die Kamerataste auf dem rechten Bügel der Brille. Dadurch wird die Kamera in deiner Brille aktiviert. Dein Gesprächspartner bekommt dann eine Aufforderung, ebenfalls in den Kameramodus zu wechseln. Tut er das, kann er auf seinem Bildschirm sehen, was die Kamera in deiner Brille erfasst und dir bei der Lösung deines Problems behilflich sein.

Eine ganz spezielle Anwendung der Teleassistenz habe ich beim Schwimmen entdeckt. Für uns blinde Menschen ist es extrem befreiend, in einen See hinaus zu schwimmen, ohne ständig befürchten zu müssen, mit einem Gegenstand oder einem Menschen zusammen zu stossen. Das Problem ist dann jeweils, den Ausstieg wieder zu finden. Hier kann die KI-Brille helfen. Wie das funktioniert und was man dazu als Schutz für das iPhone braucht, habe ich in einem separaten Artikel beschrieben. Wenn es dich auch interessiert, findest du nachstehend den Link:

Die Ray-Ban Meta Brille als Navigationshilfe beim Schwimmen

7. Umgebungserkundung

Wenn du deine Umgebung erkunden willst, kannst du einfach sagen: «Hey Meta, beschreibe mir, was du siehst». Du kannst zur erhaltenen Antwort auch Zusatzfragen stellen, ohne «Hey Meta» ständig zu wiederholen.

Speziell bei dieser Anwendung gibt es einen grossen Unterschied, ob du die deutsche oder die englische Sprache eingestellt hast. Mit der deutschen Sprache werden bei der Umgebungsbeschreibung Personen ausser Acht gelassen und auf die Frage, ob sich im Raum auch Personen befinden,  bekommst du die Antwort»Bei Anfragen um Personen zu identifizieren oder über ihr Aussehen zu sprechen, kann ich nicht weiter helfen». Hier greifen die europäischen Datenschutzbestimmungen, was in diesem Fall für uns sehr nachteilig ist.

Mit der englischen Sprache hingegen bekommst du auch Informationen zu den Personen in deinem Blickfeld, und nach Nachfrage auch zu deren Tätigkeit, Haarfarbe, Alter oder Kleidung.

8. Live-Übersetzung

Mit der Live-Übersetzung verfügt die Brille grundsätzlich über ein interessantes Feature. Du kannst dir von der Brille live übersetzen lassen, was eine andere Person in einer der unterstützten Sprachen (deutsch, französisch, italienisch, englich und spanisch) spricht und die Person, mit der du dich unterhältst, kann die Übersetzung des von dir gesprochenen Textex auf deinem iPhone lesen.  Den Vorgang startest du, indem du beispielsweise sagst: «Hey Meta, Starte Live-Übersetzung von Französisch nach Deutsch». Du musst allerdings zuvor das betreffende Sprachpaket geladen haben. Wie das geht, erfährst du in der Anleitung unter Punkt 19. Bei meinen Tests hat dieses Feature jedoch noch nicht zu meiner Zufriedenheit funktioniert. Doch ich werde weiter testen und hier berichten, wenn ich eine Lösung gefunden habe.
Es besteht ja zudem auch noch die Möglichkeit, dass du über dein iPhone eine andere KI startest und sie anweist, live zu übersetzen, dann kannst du immer noch deine Brille als Headset Nutzen, um mit der andern Person zu sprechen und zu hören, was sie sagt, während die andere Person auf dem Display deines iPhones lesen kann, was du sagst. Zu diesem Zweck musst du allerdings eine KI verwenden, welche das live Übersetzte auch gleichzeitig auf dem Display anzeigt.
Zweifellos liegt in dieser Technologieanwendung ein grosses Potential. Radio DRS hat zu diesem Thema einen interessanten Beitrag veröffentlicht. Wenn’s dich interessiert, hier ist der Link zur Sendung:

: Was taugt die Echtzeit-Übersetzung?  

9. Telefonieren

Selbstverständlich kannst du mit der Brille auch telefonieren. Und wenn du deine Brille auch mit Whatsapp verknüpft hast, kannst du auch über Whatsapp Telefonanrufe tätigen. Sage einfach «Hey Meta, ruefe XY über mein Telefon an» oder «Hey Meta, Whatsappanruf an XY».
Und wenn das Telefon bei dir klingelt, kannst du einfach sagen: «Hey Meta: antworten» und zum Auflegen: «Hey Meta, auflegen» .

10. Whatsapp-Nachrichten versenden

Du kannst sowohl Sprachnachrichten, wie auch Textnachrichten versenden. Sage einfach «Hey Meta, Whatsapp Sprachnachricht an XY». Du wirst dann benachrichtigt, dass du jetzt sprechen kannst.
Die Aufnahmedauer bei Sprachnachrichten ist jedoch auf ca. 45 Sekunden begrenzt.
Für Textnachrichten sage einfach: «Hey Meta, Whatsappnachricht an XY».

11. Fotos und Videos aufnehmen

Für die Aufnahme von Fotos und Videos gibt es wiederum 2 Wege:
Wenn du die Kamerataste auf deinem rechten Bügel kurz drückst, machst du ein Foto.
Wenn du die Kamerataste für ein paar Sekunden drückst, startest du ein Video.
Alternativ kannst du natürlich auch sagen: «Hey Meta, mache ein Foto» oder «Hey Meta, starte ein Video».
Zum Anhalten des Videos sagst du einfach «Hey Meta, Video anhalten» bzw. du drückst noch einmal auf die Kamerataste.

Beachte, dass die Videodauer mit der Brille zeitlich begrenzt ist. In den Einstellungen zu deiner Brille in der Meta AI App kannst du die Dauer im Menüpunkt «Medien» von 15 Sekunden bis 3 Minuten einstellen.

12. Die KI von Meta nutzen

Neben den speziell für uns interessanten Anwendungen kannst du die Brille auch ganz einfach für die unterschiedlichsten Fragen an die KI von Meta nutzen, ob du nun Details zu einem Kunstwerk wissen willst oder du nach einem Rezept für eine ganz bestimmte Speise suchst. Die Anweisung lautet einfach «Hey Meta, und dann deine Frage.

13. Timer stellen

Apropos Rezepte: Du kannst mit der Brille auch einen Timer setzen.
Um den Timer zu starten, sage einfach «Hey Meta: Timer auf 3 Minuten». Nach Ablauf dieser Zeit ertönt ein Signal. Dieses beendest du mit «Hey Meta: Timer stoppen».

14. Dich erinnern lassen

Du kannst Meta auch beauftragen, dich zu einer bestimmten Zeit an etwas zu erinnern. Die Anweisung lautet dann: Hey Meta, erinnere mich (zu einer bestimmten Zeit) (an etwas).

15. Die Brille ist auch ein Headset

Im übrigen kannst du die Brille auch ganz einfach als Headset verwenden und darüber die Sprachausgabe von VoiceOver empfangen oder Musik oder Radio hören. Wenn du Musik hörst, kannst du diese über dein Touchpad am rechten Bügel steuern. Mit einem Tip startest und stoppst du die Übertragung. Mit einem Doppeltipp springst du zum nächsten Song und mit streichen nach vorne bzw. hinten erhöhst oder verringerst du die Lautstärke.

16. Die Live AI verwenden

Wenn du die Brille mit dem US-VPN eingerichtet und die englische Sprache eingestellt hast, dann kannst du Live AI verwenden. Dies ist eine Funktion, bei welcher deine Kamera permanent eingeschaltet ist und du mit Meta AI reden bzw. ihr eine Frage stellen kannst, ohne zuvor ständig «Hey Meta» zu sagen. Du startest diesen Dienst mit «Hey Meta, start live AI». Meta quittiert mit «Live AI ist started» und mit einer Beschreibung der aktuellen Szene. Ich muss gestehen, ich habe bislang noch keine Anwendung von Live AI entdeckt, die ich als wesentlichen Mehrwert gegenüber der situativen Anwendung von «Hey Meta, schau und sage mir…» empfunden hätte. Denn das, was ich gerne hätte, kann die KI ohnehin nicht oder noch nicht. Und das wären zwei Dinge: Einmal möchte ich der KI den Auftrag erteilen können, mich zu informieren, sobald ein Hindernis auf meinem Weg auftaucht oder sobald eine Stufe oder ein bestimmter Eingan auftaucht. Leider kann aber Meta keine Aufträge annehmen, die sich auf ein künftiges Ereignis beziehen. Die Überwachungsfunktion in diesem Sinne fehlt noch. Der andere Wunsch wäre, dass mich die KI mit zweckdienlichen Anweisungen an einen gewünschten Ort bringt. Und auch das kann sie nicht, weil die Anwendung vorderhand mit keinem Kartenmaterial verknüpft ist. Mal abwarten, ob die Zukunft etwas in dieser Richtung bringt!

17. Einige Audiobeispiele

Damit du einen Eindruck davon bekommst, wie die Brille so klingt, hier ein paar Beispiele aus der täglichen Anwendung

1. Produkte erkennen
2. Farben und Muster erkennen
3. Texte vorlesen
4. Apparate bedienen

5. Umschau mit Verweigerung der Personenbeschreibung

6. Umschau mit Personenbeschreibung (englisch)
7. Orientierung draussen mit viel Luft nach oben
8. Live AI (englisch)
9. Be My Eyes mit der Brille nutzen
10. Mit Whatsapp Text- und Sprachnachrichten versenden

18. Mein persönliches Fazit

Wenn ich bezüglich meiner bisherigen Erfahrungen mit der smarten KI-Brille persönliche Bilanz ziehe, dann gibt es einiges, was mich überzeugt, wie zum Beispiel die Produkteerkennung, die Farb- und Mustererkennung  oder die Unterstützung bei der Apparatebedienung. Andere Anwendungen wie die Orientierungshilfe draussen, die Umgebungsbeschreibung auf deutsch (mit Ausschluss der Personen) oder die Live AI überzeugen mich noch weniger. Auch für die Vorlesefunktion gibt es meines Erachtens leistungsfähigere Apps. Was mich allerdings am meisten überzeugt, ist die Möglichkeit der Teleassistenz, d.h. der Fernhilfe durch eine reale sehende Person, die durch meine Kamera blickt und mir so bei verschiedensten Aufgaben helfen kann und ich dabei meine Hände frei habe. Auch als Headset benütze ich die Brille sehr gerne, sei es zum Telefonieren, Whatsapp versenden oder einfach zum Musik oder Radio hören. Leider zeigt sich da die Schwachstelle der Brille: das ist ihr Akku, der leider bereits nach wenigen Stunden des Einsatzes schlapp macht. Immerhin kann die Brille im Ladeetui relativ rasch wieder aufgeladen werden.  Und mit der Oklay-Brille ist ja diesbezüglich bereits eine markante Verbesserung in Aussicht gestellt worden.

Zum Schluss möchte ich noch eines betonen. Meine Tests entsprechen dem aktuellen Stand von Hardware und Software (1. August 2025). Die Anwendung von KI in smarten Brillen ist eine noch junge Entwicklung. Und es darf erwartet werden, dass auf diesem Gebiet noch einige Fortschritte erzielt werden. Die Apfelschule verfolgt diese Entwicklung weiter und informiert wie immer zeitnah, wenn es Neues zu berichten gilt.

Und hier wie immer meine Bitte: Wenn du etwas weisst, was in diesem Beitrag fehlt oder ungenau beschrieben ist, dann teile es doch im unten stehenden Kommentarfeld mit. Dies ganz im Sinne von: Zusammen wissen wir mehr, als jeder oder jede für sich alleine! Vielen Dank!

Und hier findest du eine detaillierte

Anleitung für die Einrichtung und Inbetriebnahme