Meta und EssilorLuxottica erproben gemeinsam mit der Pinacoteca di Brera in Mailand den Einsatz KI-gestützter Brillen für blinde und sehbehinderte Museumsbesucher. Das gestern gestartete Projekt „Sensing Art“ soll laut EssilorLuxottocia den Zugang zu Kunstwerken erleichtern und eine weitgehend selbstständige Erkundung der Ausstellung ermöglichen.
Die intelligenten Brillen erkennen ausgewählte Gemälde und spielen passende Audiobeschreibungen ab. Grundlage ist das bereits etablierte Vermittlungskonzept DescriVedendo, das visuelle Eigenschaften von Kunstwerken sprachlich erschließt. Die neue Technologie ergänzt dieses Angebot um eine freihändige Bedienung und zusätzliche Assistenzfunktionen.
KI-Brillen erschließen acht Meisterwerke
Im Mittelpunkt des Pilotprojekts stehen acht Werke aus der Sammlung der Pinacoteca di Brera. Besucher können die jeweiligen Gemälde über die Kamera ihrer KI-Brille identifizieren lassen und anschließend vorbereitete Informationen anhören.
Für jedes Kunstwerk stehen drei unterschiedliche Inhalte zur Verfügung: eine detaillierte Beschreibung der sichtbaren Gestaltung, kunsthistorische Hintergrundinformationen und eine Biografie des Künstlers. Die Nutzer entscheiden selbst, welche Informationen sie abrufen möchten.
Die Inhalte basieren auf der DescriVedendo-Methode der italienischen Organisation Associazione Nazionale Subvedenti (ANS). Sie übersetzt Formen, Bildkompositionen, Farben und Einzelheiten in präzise sprachliche Beschreibungen, damit Menschen mit eingeschränktem Sehvermögen eine eigene Vorstellung der Werke entwickeln können.
Die Wiedergabe erfolgt über Lautsprecher in den Brillenbügeln. Da die Ohren frei bleiben, können Besucher gleichzeitig ihre Umgebung wahrnehmen und sich mit Begleitpersonen unterhalten.
Gewinnen in der Plattform-Ökonomie
Meta AI und Be My Eyes erweitern die Assistenz
Die Brillen sind mit der Museumsanwendung Grande Brera verbunden und ermöglichen die automatische Zuordnung der Audiobeschreibungen zu den ausgestellten Werken. Ergänzende Orientierungshinweise sollen den Weg zwischen den einzelnen Stationen erleichtern.
Darüber hinaus können Besucher den Sprachassistenten Meta AI nutzen, um Fragen zu ihrer Umgebung zu stellen. Die Funktion ergänzt die vorbereiteten Museumsinhalte um eine dialogorientierte Informationsabfrage.
Über die Integration von Be My Eyes lässt sich außerdem eine Verbindung zu sehenden Freiwilligen oder qualifizierten Unterstützern herstellen. Diese können bei Orientierungsfragen und praktischen Aufgaben helfen, sowohl innerhalb des Museums als auch auf dem Weg dorthin.
Ziel ist es, die Abhängigkeit von Smartphones und persönlicher Begleitung zu reduzieren. Die tatsächlichen Vorteile der verschiedenen Funktionen sollen im Rahmen des Pilotprojekts unter realen Nutzungsbedingungen untersucht werden.
Entwicklung gemeinsam mit Betroffenen
An der Umsetzung sind neben Meta, EssilorLuxottica und dem Museum mehrere italienische Organisationen beteiligt. Dazu gehören ANS, die Blinden- und Sehbehindertenvereinigung UICI sowie die Fondazione Istituto dei Ciechi di Milano.
Die Partner haben die Anwendung in mehreren Test- und Abstimmungsphasen entwickelt. Menschen mit Sehbehinderungen waren unmittelbar an der Bewertung von Bedienbarkeit, Informationsangebot und praktischer Nutzung beteiligt.
Damit folgt das Projekt dem Grundsatz, barrierefreie Angebote gemeinsam mit den betroffenen Menschen zu gestalten. Ihre Erfahrungen sollen auch in die weitere Verbesserung der Anwendung einfließen.
Nach Angaben der Projektpartner leben in Italien mehr als eine Million sehbehinderte Menschen. Der demografische Wandel erhöht die Bedeutung entsprechender Unterstützungsangebote zusätzlich.
Wearables eröffnen neue Einsatzmöglichkeiten
Für Meta und EssilorLuxottica bietet das Projekt die Gelegenheit, intelligente Brillen außerhalb klassischer Verbraucher-Anwendungen zu erproben. Die Verbindung aus Kamera, Sprachausgabe, künstlicher Intelligenz und digitaler Assistenz ermöglicht neue Formen des Informationszugangs.
Die Technologie könnte perspektivisch auch in anderen kulturellen Einrichtungen eingesetzt werden. Voraussetzung dafür wären entsprechend aufbereitete Inhalte, zuverlässige Objekterkennung und eine nutzerfreundliche Integration in bestehende Angebote.
Die italienische Ministerin für Menschen mit Behinderungen, Alessandra Locatelli, unterstützt das Vorhaben und sieht darin ein mögliches Modell für weitere Museen. Eine konkrete Ausweitung auf andere Einrichtungen wurde allerdings noch nicht angekündigt.
Für die beteiligten Unternehmen liefert der Versuch zugleich Erkenntnisse darüber, wie sich KI-Brillen im Alltag von Menschen mit Sehbehinderungen einsetzen lassen. Die Erfahrungen könnten in die Weiterentwicklung barrierefreier Funktionen einfließen.
