Die App OORION mit der Meta Brille nutzen

Wer die Meta Brille bereits nutzt, kennt die Vorzüge, welche diese smarte Brille für uns sehbehinderte Menschen bietet. Mit OORION ist nun eine weitere spezifische Anwendung hinzu gekommen.

1. Zur Einordnung

Die Grundidee ist so simpel, wie genial: Eine in die Brille integrierte Kamera schaut für uns und eine KI wertet die Bilder aus und via Sprache können wir mit ihr kommunizieren. Technisch gesehen ist das jedoch ein hochkomplizierter und komplexer Prozess und die ganze Technik muss in der Brille Platz finden: Kamera, Sensoren, Prozessoren, Speicher, Datenübertragung, Mikrofone, Lautsprecher und Stromversorgung, und das alles in miniaturisierter Form. Dass das funktioniert, grenzt schon fast an ein kleines Wunder. Und was die Leistung anbelangt, kann die Brille von Meta, die schon seit einiger Zeit im Verkauf ist, bereits beachtlich viel. Die Apfelschule hat dies im Beitrag «Anwendungsbeispiele für die Ray-Ban Meta Brille» ausführlich dokumentiert. Als Einstieg in die Thematik empfehle ich dir die Lektüre dieses Beitrags.

Nebst den Meta-eigenen Funktionen stand von Beginn an bereits die App «Be My Eyes» auf der Brille zur Verfügung. Mitt OORION ist nun eine weitere sehbehinderungsspezifische App hinzu gekommen. Und es sollen im Laufe der kommenden Wochen noch weitere folgen. So sind beispielsweise auch ScribeMe und Ally in den Startlöchern und auch von Seeing AI hat man gehört, dass es diese App auf die Brille schaffen soll. Doch konzentrieren wir uns nun erstmal auf die Lösung von OORION, die es als erste – nicht zuletzt dank des engagierten Einsatzes von Christian Paulmann – bereits an den Start geschafft hat.

2. Was ist und was kann OORION?

OORION ist eine kostenlose App, die sehbehinderten Menschen helfen will, sich zurechtzufinden und leichter mit ihrer Umgebung zu interagieren, und zwar sowohl im Alltag als auch an öffentlichen Orten.

Du kannst OORION für folgende Zwecke einsetzen:

Spezifische Fragen zu deiner Umgebung stellen. Zum Beispiel:

Informiere mich, wenn ein Hindernis in meinem Wege ist
Benachrichtige mich, wenn der Bus NR. 52 kommt.
Wieviele Münzen sind in meiner Hand?
Welche Farbe hat dieses Objekt?
Beschreibe dieses Kunstwerk
auch «Ja/Nein»-Fragen sind möglich.

Objekt suchen:

Diese Funktion ist sehr nützlich, um bestimmte Objekte zu finden. Das können Objekte sein, wie zum Beispiel ein weisser Stock, ein Sessel, die Toilette, ein Waschbecken, eine Flasche oder Tasse, aber auch ein Hund oder eine Person. Du wirst dabei mittels Tönen zum gesuchten Objekt geleitet, sobald dieses entdeckt worden ist.

Text suchen:

Damit kannst du nach bestimmten Wörtern suchen, zum Beispiel nach einem Strassennamen, einer Hausnummer oder nach «Apotheke» Oder auch nach einem bestimmten Symbol in der unteren Reihe der Kaffeemaschine. Auch hier wirst du mittels Tonsignalen zum gefundenen Objekt geleitet.

Objekte in der Nähe erkunden:

Wenn du zum Beispiel frägst: «Was ist das? Oder «Was ist hier?» beschreibt OORION die Umgebung auf eine sehr allgemeine Weise.

Texte in der Nähe lesen:
Diese Funktion liest alle Texte in der unmittelbaren Umgebung vor.
Persönliche Objekte:

Du kannst OORION beibringen, deine persönlichen Objekte zu erkennen, damit sie später leichter wieder gefunden werden können.

Spezielle Infos an Partnerorten / -Einrichtungen:

Zu Einrichtungen (z.B. Hotels, Restaurants) , die von OORION speziell erfasst worden sind, erhältst du detaillierte Informationen wie Öffnungszeiten, Speisekarte, Anrufmöglichkeit, Eingangssuche und anderes mehr.

3. OORION einrichten und in Betrieb nehmen

Mit folgendem Link kannst du die App OORION aus dem App Store herunterladen und installieren: Downloadlink für OORION

Wenn du die App zum ersten Mal öffnest, musst du die Nutzungsbedingungen akzeptieren. Das bedeutet, dass du dir bei der Nutzung von OORION bewusst bist, dass es sich um einen KI-Dienst handelt, der Fehler machen kann, und du dich zu deiner Sicherheit nicht ausschliesslich auf OORION verlässt. Aktiviere die «Akzeptieren die Nutzungsbedingungen»-Taste.

In einem weiteren Schritt wirst du darüber informiert, dass OORION für das korrekte Funktionieren Zugriff auf die Kamera, das Mikrophon und weitere Funktionen deines iPhones haben muss. Aktiviere die «Trigger-Autorisierungsanfragen»-Taste.

Nun musst du der Reihe nach mehrere Zusagen erteilen:

Für die Nutzung des Mikrophons durch Aktivierung der «Erlauben»-Taste.
Zur Nutzung der Kamera, ebenfalls durch Aktivierung der «Erlauben»-Taste.
Zum Zugriff auf die Spracherkennung, ebenfalls mit der «Erlauben»-Taste.
Für die Standortnutzung. Wähle dafür die Option: «Beim Verwenden der App erlauben».
Für die Zustellung bzw. Ablehnung von Mitteilungen
Und schliesslich für den Zugriff auf den Bluetooth-Dienst für die Verbindung von der Brille zum iPhone . Aktiviere wiederum die «Erlauben»-Taste.

Im letzten Einrichtungsbildschirm wirst du noch darauf hingewiesen, dass du OORION jederzeit mit der Aufforderung «ORION» starten und mit «Stop» beenden kannst. Und auf dem gleichen Bildschirm findest du noch eine Taste zum Abonnieren des Newsletters von OORION, falls du das möchtest.

Mit der Taste «Los geht’s» schliesst du die Einrichtung ab.

4. OOrion mit der Meta Brille verwenden.

Schalte nun deine Metabrille ein und Setze sie auf. Falls deine Metabrille noch nicht eingerichtet ist, findest du unter nachstehendem Link eine Schritt für Schritt Anleitung:

So richtest du deine Meta-Brille ein

Wenn deine Brille betriebsbereit ist, erscheint nach dem Aufsetzen in der OORION-App die Meldung: «Wir haben festgestellt, dass Sie eine KI-Brille mit ihrem iPhone verbunden haben. Möchten sie diese mit OORION verwenden?» Aktiviere jetzt die Taste «Verbinden».

Auf dem jetzt eingeblendeten Bildschirm erfährst du, dass du OORION sogar starten kannst, wenn dein iPhone gesperrt und in der Tasche ist Sage einfach «ORION» zum Starten oder «Stop» zum Beenden.
Und schliesslich wirst du noch darauf hingewiesen, dass du Probleme an Meta oder OORION melden kannst, indem du das iPhone schüttelst. Diesen Meldungsbildschirm schliesst du durch Aktivieren von «Schliessen».

Bevor die OORION-App mit der Brille verbunden wird, wirst du noch darauf hingewiesen, dass diese App von einem Drittanbieter entwickelt und nicht von Meta geprüft worden ist. Wenn du die Verbindung aktivieren willst, dann tippe auf «Ich bin mir dieser Risiken bewusst» und anschliessend auf «Verknüpfen».

Als nächstes musst du OORION die Erlaubnis erteilen, auf die Kamera deiner Metageräte zuzugreifen. Wähle die Option «immer erlauben» und bestätige deine Auswahl durch Aktivierung von «Bestätigen».

Deine Brille ist jetzt mit der OOrion-App verknüpft.

Du siehst den Bildschirm: «Alles ist bereit» und du kannst OORION jetzt mit dem Sprachbefehl «Orion» starten. Ein Piepston zeigt dir an, dass du jetzt mit OORION sprechen kannst. Sage zum Beispiel: «Was kannst du für mich tun? Und OORION informiert dich danach darüber, wofür du die App einsetzen kannst.

5. Die Entwicklung geht weiter

Grundsätzlich ist der Ansatz, die Kamera und die KI dazu zu verwenden, uns die visuelle Umwelt zugänglicher zu machen, viel versprechend. Mehrere diesbezügliche Anwendungen werden von uns sehbehinderten Personen bereits mit guten Resultaten genutzt. Andere funktionieren erst im Ansatz. Auch bei meinen ersten Tests mit OOrion haben mich nicht alle Ergebnisse befriedigt. So wurden einige Hindernisse nicht oder erst zu spät erkannt und die Verbindung von der Brille zum iPhone brach öfters mal ab. Das ist aber kein Grund, nicht mit dem Ausprobieren fortzufahren, denn die App wird stetig und mit grossem Engagement weiter entwickelt. Christian Paulmann hat eine Whatsapp-Gruppe eröffnet, in welche die Nutzenden ihre Erfahrungen und Wünsche einbringen können und diese Meldungen werden auch von den Entwicklern der App mitgelesen und so weit möglich berücksichtigt. Auch du hast die Möglichkeit, dich an diesem Prozess zu beteiligen. Mit nachstehendem Link kannst du einen Antrag auf Aufnahme in diese Whatsapp-Gruppe stellen:Link zur Gruppe «Orion auf KI Brillen».

Du hast aber auch die Möglichkeit, für deine Rückmeldungen das untenstehende Kommentarfeld zu nutzen und ich werde die Inhalte dann gebündelt an die zuständige Instanz weiter leiten.