Anwendungsbeispiele für die KI Brillen von Meta

Du hast eine Ray-Ban Meta Brille angeschafft und willst sie nun optimal nutzen. Hier findest Du dazu Tips und Anwendungsbeispiele

1. So sprichtst Du mit Meta AI

  1. Meta rufen:
    Um Meta zu aktivieren kannst Du entweder «Hey Meta» oder «OK Meta» sagen. Meta meldet sich dann mit einem Signalton. Auch hier funktioniert es wie bei Siri: Du musst mit deiner Anweisung nicht warten, bis der Signalton ertönt. Du kannst deine Anweisung direkt an «Hey Meta» anfügen. Zum Beispiel: «Hey Meta, wie wird das Wetter heute?»
  2. Eine Anschlussfrage stellen:
    Nachdem Meta die Antwort gegeben hat, ertönt wieder der Signalton der anzeigt, dass Meta wieder zuhört. Du kannst also eine Anschlussfrage stellen, ohne «Hey Meta» zu wiederholen. Auf diese Weise kannst Du mit Meta in einen Dialog treten
    Es kann auch sein, dass nach einer Antwort von Meta kein Signalton ertönt und Du trotzdem eine Anschlussfrage stellen kannst.
  3. Erfolgt darauf jedoch keine Antwort, muss Du den Dialog einfach wieder mit «Hey Meta» starten.
  4. Du kannst jederzeit unterbrechen:
    Wenn Dir die Antwort von Meta missfällt, dann brauchst Du nicht zu warten, bis Meta fertig gesprochen hat. Du kannst jederzeit, d.h. auch mitten im Satz unterbrechen und eine neue Anweisung geben.
  5. Ein Wort buchstabieren:
    Du kannst Meta auch auffordern, ein Wort zu buchstabieren, zum Beispiel mit der Anweisung: «Wie heisst der höchste Berg in der Schweiz? Bitte buchstabieren!»
  6. Sprechgeschwindigkeit regulieren:
    Wenn Meta für deine Bedürfnisse zu schnell oder zu langsam spricht, so kannst Du die Sprechgeschwindigkeit in den Einstellungen in der Meta AI-App unter «Sprache und Stimme» regulieren.

2. Produkte erkennen

Eine speziell nützliche Funktion der KI Brille ist das Erkennen von Produkten. Man hat beide Hände frei, um das Produkt beispielsweise aus dem Regal zu nehmen und locker vor sich in der Hand zu halten. Eine gewisse Herausforderung für mich als blinde Person stellt es dar, meinen Blick gezielt auf das Produkt zu richten. Doch meist genügt es vollkommen, wenn ich auch nur ungefähr darauf schaue. Ich habe diese Anwendung in unserem Vorratsraum mit verschiedenen Produkten getestet und mit dem Ergebnis war ich sehr zufrieden. Die Brille hat sogar erkannt, dass in der Weinflasche, die ich in den Händen hielt, gar kein Wein war, sondern Holundersirup!
Mit der Frage: «Hey Meta, was ist in dieser Flasche bzw. in dieser Verpackung?» bekam ich stets die richtige Antwort. Und wenn ich sagte: «Lies mir vor, was auf dem Etikett  steht, tat sie das auch prompt. Sogar die von Hand angeschriebene Confiture konnte sie samt Datum korrekt benennen. Probier es aus, Du wirst begeistert sein!

3. Farben und Muster erkennen

Auch beim Sortieren oder auswählen von Kleidern kann die Brille behilflich sein. Mit der Aufforderung: «Hey Meta, welche Farbe hat dieser Pullover». Erhalte ich eine korrekte Antwort. Und ich kann mir auch detailliert das Druckmuster meiner Bettdecke beschreiben lassen, wenn ich sage: «Beschreibe mir das Muster detailliert».

4. Text vorlesen lassen

Natürlich kann die Brille auch Text vorlesen. Dabei setze ich sie aber nur dort ein, wo sie gegenüber den andern Vorlese-Apps einen Vorteil bringt. Dies beispielsweise um herauszufinden, welche Art von Schreiben ich in den Händen halte oder was auf einem Aushangzettel steht, wenn ich draussen bin. Ich habe die Brille auch schon öfters eingesetzt, um mir in einem Restaurant die Speisekarte vorlesen zu lassen, was in der Regel sehr gut klappt.
Wenn ich will, dass Meta mir nicht bloss eine Zusammenfassung des Textdokuments liefert, sondern mir den ganzen Inhalt vorliest, muss ich sie entsprechend anweisen. Ich sage beispielsweise: «Lies mir den Inhalt dieses Blattes komplet vor». Oder «Lies mir den Text in der linken Spalte vor». Ich kann auch fragen: Hat es Überschriften auf dem Dokument oder Tabellen?». Ich kann auch gezielt nach bestimmten Inhalten fragen: Bei einem Rezept kann ich beispielsweise sagen: «Lies mir die Zutaten oder die Zubereitung vor» oder «Wieviel Zucker brauche ich?». Man muss da einfach ausprobieren und heraus finden, womit man das beste Ergebnis erzielt.

5. Identifizierung von Bedienelementen

Ob die Kaffeemaschine ein- oder ausgeschaltet ist, das erkennt die Brille gut. Auch die Symbole der einzelnen Tasten kann sie mir benennen. Ich muss nur richtig fragen, zum Beispiel: «Was steht auf der dritten Taste von links».
Auch wie lange der Waschvorgang noch dauert, kann mir die Brille wohl sagen.
Etwas mehr Mühe hat die KI noch, die Knöpfe auf einer Klingelanlage den richtigen Namen zuzuordnen. Es lohnt sich, hier nochmals nachzufragen und beispielsweise mit einem Finger auf den betreffenden Knopf zu zeigen und zu fragen: «Wie lautet der Name links von meinem Finger?» oder so ähnlich.

Notfalls behelfe ich mir und rufe «Be My Eyes».

6. Teleassistenz rufen

Den bedeutendsten Nutzen bringt die Brille für mich persönlich im Bereich der Mobilität. Draussen, wenn ich mit meinem Langstock unterwegs bin. Wenn es beispielsweise darum geht, den Eingang zu einem bestimmten Geschäft zu finden, den Zebrastreifen  für die sichere Strassenüberquerung, den Treppenabgang in die Bahnhofsunterführung, die offene Wagentür beim eingefahrenen Zug usw. usw. dann bin ich froh, wenn ich notfalls mit meiner Brille sehende Hilfe rufen kann, die mich dann durch die Kamera meiner Brille lotst.
Die Inanpsruchnahme sehender Hilfe via meine Brille ist aber auch noch in andern Situationen sehr hilfreich: Zum Beispiel wenn ich einen runter gefallenen Gegenstand suchen muss, wenn ich nicht weiss, ob ein Gerät ein- oder ausgeschaltet ist, oder wenn ich mit der Bedienung eines Touchbildschirms nicht weiter komme. Der grosse Vorteil beim Einsatz der Brille ist stehts, dass ich dabei meine Hände frei habe und sie nutzen kann, sei es für die Stockführung, zum tastenden Suchen, zum Bedienen eines Apparates oder zum Halten eines Gegenstandes.

Für die Inanspruchnahme von Teleassistenz gibt es zwei Möglichkeiten:

a) Das Netzwerk «Be My Eyes» anrufen

Dazu sage ich einfach «Hey Meta, Be My Eyes». Und schon höre ich das vertraute Tonsignal, welches mir anzeigt, dass eine freie Assistenzperson gesucht wird. Und in der Regel meldet sich dann auch jemand schon nach kurzer Zeit. Die Stimme der helfenden Person höre ich über die Bügel meiner Brille und die helfende Person sieht durch die in der Brille verbaute Kamera, wohin ich gerade «schaue» und kann mich mit hilfreichen Anweisungen zum gesuchten Ziel führen.

b) Die Videotelefonie von WhatsApp nutzen

Die zweite Möglichkeit der Teleassistenz besteht darin, dass ich eine Person aus meinem Bekanntenkreis via WhatsApp anrufe und danach die Kamera an meiner Brille einschalte. Auch so kann mir die Person via Kamera in meiner Brille und gleichzeitiger Sprachverbindung helfen.
Und so gehst Du vor:
Sage «Hey Meta starte Videoanruf über WhatsApp an XY». Sollte anstelle der Videoverbindung bloss eine Audioverbindung zustande kommen, kannst Du die Kamera Deiner Brille manuell aktivieren, indem Du zweimal rasch hintereinander die Kamerataste auf dem rechten Bügel deiner Brille drückst. Die angerufene Peerson bekommt dann eine Aufforderung, ebenfalls in den Kameramodus zu wechseln. Tut sie das, kann sie auf ihrem Bildschirm sehen, was die Kamera in Deiner Brille erfasst und Dir bei der Lösung Deines Problems behilflich sein.
Am einfachsten klappt es mit der Videoverbindung, wenn die helfende Person den Videoanruf an Dich startet. Dann brauchst Du den Anruf nur entgegenzunehmen, indem Du sagst: „Hey Meta: Annehmen“ und die Videoverbindung steht.

Eine ganz spezielle Anwendung der Teleassistenz habe ich beim Schwimmen entdeckt. Für uns blinde Menschen ist es extrem befreiend, in einen See hinaus zu schwimmen, ohne ständig befürchten zu müssen, mit einem Gegenstand oder einem Menschen zusammen zu stossen. Das Problem ist dann jeweils, den Ausstieg wieder zu finden. Hier kann die KI Brille helfen. Wie das funktioniert und was man dazu als Schutz für das iPhone braucht, habe ich in einem separaten Artikel beschrieben. Wenn es Dich auch interessiert, findest Du nachstehend den Link:

Die Ray-Ban Meta Brille als Navigationshilfe beim Schwimmen

7. Umgebungserkundung

Wenn Du Deine Umgebung erkunden willst, kannst Du einfach sagen: «Hey Meta, beschreibe mir, was Du siehst». Du kannst zur erhaltenen Antwort auch Zusatzfragen stellen, ohne «Hey Meta» ständig zu wiederholen.

Speziell bei dieser Anwendung gibt es einen grossen Unterschied, ob Du die deutsche oder die englische Sprache eingestellt hast. Mit der deutschen Sprache werden bei der Umgebungsbeschreibung Personen ausser Acht gelassen und auf die Frage, ob sich im Raum auch Personen befinden, bekommst Du die Antwort «Bei Anfragen um Personen zu identifizieren oder über ihr Aussehen zu sprechen, kann ich nicht weiter helfen». Hier greifen die europäischen Datenschutzbestimmungen, was in diesem Fall für uns sehr nachteilig ist.

Mit der englischen Sprache hingegen bekommst Du auch Informationen zu den Personen in Deinem Blickfeld, und nach Nachfrage auch zu deren Tätigkeit, Haarfarbe, Alter oder Kleidung.

8. Die Live View

Die «Live View» ist eine Funktion, bei welcher die Kamera der Brille ständig aktiv ist und laufend Bilder zum Rechenzenter der KI sendet. Diese werden dort nach bestimmten Kriterien analysiert und das Ergebnis wird als Text wieder zurück an die Brille gesendet. Die Brille «berichtet» uns also laufend, was die Kamera «sieht». Diese Funktion ist nicht bloss deshalb interessant, weil wir auf diese Weise viel über unsere unmittelbare Umgebung erfahren können – viel wichtiger, zumindest für uns blinde Nutzende ist die Möglichkeit, dass  wir der KI konkrete Aufträge erteilen können, worauf sie achten und worüber sie uns informieren soll. Beispiele dafür sind etwa: «Warne mich, wenn ein Hindernis in meinem Wege ist» oder «Informiere mich, wenn ich beim Optikergeschäft  angelangt bin» oder «Weise mich darauf hin, sobald der Bus Nr. 52 einfährt». Meta selber hat auch eine Live View Funktion, doch diese ist aktuell in Europa nicht verfügbar. Hingegen gibt es spezielle Apps, die genau das zumindest in der Grundidee leisten und die mit der Meta Brille genutzt werden können. Aktuell sind dies «Oorion» und «Scribe Me».  Beispiele dafür, was diese beiden Apps zu leisten vermögen und wo ihre Grenzen sind, erfährst du unter nachstehenden  Links:

Die App «Oorion» mit der Meta Brille nutzen

Scribe Me, eine App mit Live Unterstützung

9. Die Live-Übersetzung

Mit der Live-Übersetzung verfügt die Brille grundsätzlich über ein interessantes Feature. Du kannst Dir von der Brille live übersetzen lassen, was eine andere Person in einer der unterstützten Sprachen (Zur Zeit deutsch, französisch, italienisch, spanisch, portugiesisch und englisch) spricht und die Person, mit der Du Dich unterhältst, kann die Übersetzung des von Dir gesprochenen Textes auf Deinem iPhone lesen. Den Vorgang startest Du, indem Du beispielsweise sagst: «Hey Meta, Starte Live-Übersetzung von Französisch nach Deutsch». Du musst allerdings zuvor das betreffende Sprachpaket geladen haben. Wenn dies noch nicht der Fall ist, dann gehe wie folgt vor:

10. Telefonieren

Selbstverständlich kannst du mit der Brille auch telefonieren. Und wenn Du Deine Brille auch mit WhatsApp verknüpft hast, kannst du auch über WhatsApp Telefonanrufe tätigen. Sage einfach «Hey Meta, rufe XY über mein Telefon an» oder «Hey Meta, WhatsApp Anruf an XY».
Wie Du einen Videoanruf über WhatsApp starten kannst, ist im Kapitel 6b) beschrieben.
Und wenn das Telefon bei Dir klingelt, kannst Du einfach sagen: «Hey Meta, antworten» und zum Auflegen: «Hey Meta, auflegen» .

11. WhatsApp-Nachrichten versenden

Du kannst sowohl Sprachnachrichten, wie auch Textnachrichten versenden. Sage einfach «Hey Meta, WhatsApp Sprachnachricht an XY». Du wirst dann benachrichtigt, dass Du jetzt sprechen kannst. Sobald Du mit Sprechen aufgehört hast, wirst Du gefragt, ob die aufgenommene Nachricht gesendet werden soll. Du kannst dies bejahen oder verneinen. Beachte, dass die Aufnahmedauer bei Sprachnachrichten jedoch auf 1 Minute begrenzt ist.
Für Textnachrichten sage einfach: «Hey Meta, WhatsApp Nachricht an XY».

12. Fotos und Videos aufnehmen

Für die Aufnahme von Fotos und Videos gibt es wiederum 2 Wege:
Wenn Du die Kamerataste auf deinem rechten Bügel kurz drückst, machst Du ein Foto.
Wenn Du die Kamerataste für ein paar Sekunden drückst, startest Du ein Video.
Alternativ kannst Du natürlich auch sagen: «Hey Meta, mache ein Foto» oder «Hey Meta, starte ein Video».
Zum Anhalten des Videos sagst Du einfach «Hey Meta, Video anhalten» bzw. Du drückst noch einmal auf die Kamerataste.

Beachte, dass die Videodauer mit der Brille zeitlich begrenzt ist. In den Einstellungen zu Deiner Brille in der Meta AI App kannst Du die Dauer im Menüpunkt «Medien» von 15 Sekunden bis 3 Minuten einstellen.

Seit der 2. Generation der Meta Brillen steht dir auch die Funktion «Zeitraffer» zur Verfügung. Du kannst damit Video-Aufnahmen über eine längere Zeitdauer hinweg (bis zu 30 Minuten) machen und diese danach in einem flüssigen beschleunigten Clip teilen. Die Funktion startest Du mit der Anweisung: «Hey Meta, starte Zeitraffer».

Auf umgekehrte Weise kannst Du auch Aufnahmen in Zeitlupe machen. Wenn Du diese Funktion mit «Hey Meta, starte Zeitlupe» aktivierst, dann kannst Du eine bis zu einer Minute lange Aufnahme machen, die danach in Zeitlupe wiedergegeben wird.

13. Die KI von Meta nutzen

Neben den speziell für uns interessanten Anwendungen kannst Du die Brille auch ganz einfach für die unterschiedlichsten Fragen an die KI von Meta nutzen, ob Du nun Details zu einem Kunstwerk wissen willst oder Du nach einem Rezept für eine ganz bestimmte Speise suchst. Die Anweisung lautet einfach «Hey Meta, und dann Deine Frage.

14. Timer stellen

Apropos Rezepte: Du kannst mit der Brille auch einen Timer setzen.
Um den Timer zu starten, sage einfach «Hey Meta: Timer auf 3 Minuten». Nach Ablauf dieser Zeit ertönt ein Signal. Dieses beendest Du mit «Hey Meta: Timer stoppen»

15. Dich erinnern lassen

Du kannst Meta auch beauftragen, dich zu einer bestimmten Zeit an etwas zu erinnern. Die Anweisung lautet dann: Hey Meta, erinnere mich (zu einer bestimmten Zeit) (an etwas).

16. Die Brille ist auch ein Headset

Im übrigen kannst Du die Brille auch ganz einfach als Headset verwenden und darüber die Sprachausgabe von VoiceOver empfangen oder Musik oder Radio hören. Wenn Du Musik hörst, kannst Du diese über dein Touchpad am rechten Bügel steuern. Mit einem Tip startest und stoppst Du die Übertragung. Mit einem Doppeltipp springst Du zum nächsten Song und mit streichen nach vorne bzw. hinten erhöhst oder verringerst Du die Lautstärke.

17. Einige Audiobeispiele

Damit Du einen Eindruck davon bekommst, wie die Brille so klingt, hier ein paar Beispiele aus der täglichen Anwendung

a)  Produkte erkennen

b) Farben und Muster erkennen

c) Einen Flyer vorlesen

d) Fragen zu einem Rezept beantworten

e) Unterstützung bei der Apparatebedienung

f) Live Übersetzung

g) Umschau ohne Personenbeschreibung

h) Umschau mit Personenbeschreibung (englisch)

i) Orientiereung draussen mit viel Luft nach oben

j) Live View mit der Oorion App

Audiobeispiele für die Verwendung der Oorion App auf der Meta Brille findest Du unter folgendem Link:

Die Oorion App auf der Meta Brille

k) Be My Eyes mit der Brille nutzen

l) WhatsApp Text- und Sprachnachrichten versenden

18. Mein persönliches Fazit

Wenn ich bezüglich meiner bisherigen Erfahrungen mit der smarten KI Brille persönliche Bilanz ziehe, dann gibt es einiges, was mich überzeugt, wie zum Beispiel die Produkteerkennung, die Farb- und Mustererkennung  oder die Unterstützung bei der Apparatebedienung. Andere Anwendungen wie die Orientierungshilfe draussen, die Umgebungsbeschreibung auf deutsch (mit Ausschluss der Personen) oder die Live AI überzeugen mich noch weniger. Auch für die Vorlesefunktion gibt es meines Erachtens leistungsfähigere Apps. Was mich allerdings am meisten überzeugt, ist die Möglichkeit der Teleassistenz, d.h. der Fernhilfe durch eine reale sehende Person, die durch meine Kamera blickt und mir so bei verschiedensten Aufgaben helfen kann und ich dabei meine Hände frei habe. Auch als Headset benütze ich die Brille sehr gerne, sei es zum Telefonieren, WhatsApp versenden oder einfach zum Musik oder Radio hören. Leider zeigt sich da die Schwachstelle der Brille: Das ist ihr Akku, der leider bereits nach wenigen Stunden des Einsatzes schlapp macht. Immerhin kann die Brille im Ladeetui relativ rasch wieder aufgeladen werden.

Zum Schluss möchte ich noch eines betonen. Meine Tests entsprechen dem aktuellen Stand von Hardware und Software (1. August 2025). Die Anwendung von KI in smarten Brillen ist eine noch junge Entwicklung. Und es darf erwartet werden, dass auf diesem Gebiet noch einige Fortschritte erzielt werden. Die Apfelschule verfolgt diese Entwicklung weiter und informiert wie immer zeitnah, wenn es Neues zu berichten gilt.

Und hier wie immer meine Bitte: Wenn Du etwas weisst, was in diesem Beitrag fehlt oder ungenau beschrieben ist, dann teile es doch im unten stehenden Kommentarfeld mit. Dies ganz im Sinne von: Zusammen wissen wir mehr, als jeder oder jede für sich alleine! Vielen Dank!

Und hier findest Du eine detaillierte

Anleitung für die Einrichtung und Inbetriebnahme

 

 

Dieser Artikel wurde in den folgenden Kategorien veröffentlicht: