EXPLORE INFORMATION / CREATE KNOWLEDGE

06 _ Der Körper im Datenraum

Mixed-Reality-Umgebungen ermöglichen durch den Einsatz materieller Objekte und unsichtbarer Trackingmechanismen ganz neue, intuitive und sinnliche Formen der Navigation durch Datenstrukturen. Mixed-Reality-Räume sind durch die Überlagerung von elektronischen Daten und physikalischen Räumen und Objekten gekennzeichnet. Die reale Umgebung, auch Alltagsgegenstände werden durch die Möglichkeiten digitaler Informations- und Kommunikationstechnologien erweitert. Realer Raum und die in ihm vorhandenen Objekte erhalten neue, zusätzliche Bedeutungen. Im Unterschied zu reinen Virtual-Reality-Systemen, tritt der Teilnehmer bei Mixed-Reality-Projekten nicht vollständig in eine fremde, ausschließlich digital simulierte Welt ein, sondern erfährt eine Bereicherung oder Ergänzung seiner realen physischen Umwelt durch digitale Information. Entsprechend kann er weiterhin auf bekannte Verhaltensweisen vertrauen und intuitiv mit der erweiterten Umgebung und den auf diese Weise zur Verfügung gestellten Daten interagieren. Gelingt also der Einbezug der Wahrnehmung der realen Umwelt in die Repräsentation digitaler Information, so kann der Nutzer zum Beispiel stärker auf sein räumliches, auch mit der Wahrnehmung des eigenen Körpers verbundenes, Erinnerungsvermögen zurückgreifen. Es entsteht ein Gefühl der direkten, auch körperlichen, Interaktion mit den digitalen Daten. Diese Interaktion geschieht über haptisch erfahrbare Objekte und unsichtbare Interfaces, die auf störende, am Körper zu tragende Devices verzichten. Der Teilnehmer findet sich so nicht nur zurecht, sondern kann in Mixed Reality Environments auch mit anderen Teilnehmern kollaborieren. Soziale Interaktion wird möglich.

Die vorzustellenden Projekte sind durch eine Abkehr von der konventionellen Desktopsituation und vom sogenannten WIMP (Windows, Icons, Menu, Pointing) Paradigma gekennzeichnet. Statt diesem zeigt sich eine Betonung der Bedeutung und der vielfältigen Nutzbarkeit des räumlichen Orientierungssinns. Ein weiteres Ziel ist die Schaffung kollaborativer Räume. Wie aber lassen sich digitale Archive in körperlich erfahrbare Situationen übersetzen?
Das "electronic Multi-User Stage Environment", kurz: [link 01] eMUSE ist eine Software-Plattform für die Fusion von virtuellen und realen Handlungsräumen und somit ein framework für Mixed Reality Architekturen. Auf dieser Basis werden Anwendungen entworfen, die ihre Relevanz insbesondere im Bereich des experimentellen Bühnenraumes und im öffentlichen Raum finden. Das audiovisuelle Modul und das Netzwerk-Modul der eMUSE-Struktur unterstützt in Echtzeit vernetzte Szenarien auf der Basis von Java und des VRML-Browsers. Das Vision System überträgt die Positionsdaten der Benutzer and den eMUSE-Server, der diese wiederum an mehrere Clients übermittelt. So ermöglicht eMUSE auch interaktive Bühneninszenierungen, an denen sowohl mehrere Personen in einem realen Raum als auch räumlich entfernte Personen via Internet teilnehmen können. Auf der Basis des eMUSE Systems wurde die Performance Installation [link 02] Murmuring Fields als begehbares Mixed Reality Audio-Archiv entwickelt. Metaphorische und realräumliche Umsetzung des Datenarchivs machen eine intuitive Interaktion möglich. Die Teilnehmer erfahren den Klang des virtuellen Raumes durch Bewegung im realen Umraum. Im dreidimensionalen Raum verortete Audiodaten werden durch Körperbewegung angesteuert und abgerufen, der Datenraum erschließt sich einer körperlichen Navigation und kann auch auf der Basis hieraus resultierender sinnlicher Erfahrung erinnert werden. Das auf eMUSE basierende Mixed Reality Environment, erlaubt - mittels Videotracking - eine körperliche und intuitive Interaktion mit Daten, ganz als sei der Raum mit diesen Daten "möbliert" [link 03] [17], oder anders: als sei der Raum und die in ihm vorhandenen Objekte mit digitaler Information in physischer Weise aufgeladen. Hier trifft das Bild des "begehbaren Daten- oder Wissensraumes". Der interaktive Klangraum kann von mehreren Personen zugleich betreten und genutzt werden.

Die von [link 04] Monika Fleischmann und [link 05] Wolfgang Strauss entwickelte Installation [link 06] Home of the Brain (1991/1992) hingegen nutzt VR-Technologie, um medientheoretische Inhalte erfahrbar zu machen. Mit Hilfe von Datenhandschuh und Datenbrille bewegt sich der Besucher durch den virtuellen Raum und die dort repräsentierte kontroverse, auf vier verschiedene Medientheoretiker zurückgehende Gedankenwelt. Eine abstrakte und symbolische Verwendung von Farben und Formen erzeugt hier bewusst eine Distanz zur realen Erlebniswelt. Das Projekt nutzt auch sehr früh eine Technologie der Vernetzung. Mittels der Datenübertragung von Berlin nach Genf wurde hier ein neuer öffentlicher Raum der Kommunikation geschaffen. Home of the Brain kann so als Versuch verstanden werden, die Vision einer neuen Kommunikationsform über den zu diesem Zeitpunkt aktuellen Mediendiskurs erfahrbar zu machen.

Die Installation [link 07] Cyber City (1990/1991) von [link 08] Wolfgang Strauss und [link 09] Monika Fleischmann erlaubt das "Reisen mit dem Finger auf der Landkarte". Das Interface besteht aus einem Tisch mit einem Luftbild. Fährt ein Besucher mit dem Finger durch die dort zu sehenden Straßen, so navigiert er hiermit zugleich durch eine an die Wand projizierte 3D Simulation des Stadtraums. Das Projekt erprobt den Einsatz interaktiver Wissensräume im öffentlichen Raum. Die (aus Gründen der Rechenleistung) abstrakte dreidimensionale Modellierung des Berliner Zentrums zielt neben der Visualisierung geplanter Bauten primär darauf, eine Situation zu schaffen, in der die Stadtbewohner aus Ost und West - Menschen die lange Zeit in zwei verschiedenen Systemen und Städten gewohnt haben - zum Gespräch über ihre Stadt und ihre Zukunft an einen Tisch kommen. Inspiration für das Tischformat dieser auf eine Auseinandersetzung mit der einst geteilten Stadt zielenden Installation war unter anderem eine Textstelle in Hannah Arendts Buch "Vita activa oder Vom tätigen Leben" (1981): "In der Welt zusammenleben heißt wesentlich, dass eine Welt von Dingen zwischen denen liegt, deren gemeinsamer Wohnort sie ist, und zwar in dem gleichen Sinne, in dem etwa ein Tisch zwischen denen steht, die um ihn herum sitzen; wie jedes zwischen verbindet und trennt die Welt diejenigen, denen sie jeweils gemeinsam ist." [link 10] [18] Zwischenräume können ein unbestimmtes Gefühl hinterlassen, gleich einem luftleeren Raum ohne Eindeutigkeit. Als verbindendes Element einer städtischen Struktur kommen sie ebenfalls nicht zum tragen, denn sie stellen nichts eindeutig Trennendes dar, das die Situation klären würde. Wenn beides fehlt, das Verbindende als auch das Trennende entsteht Orientierungslosigkeit. Das Bild des Tisches verdeutlicht diese Situation in ihrer Doppeldeutigkeit. Zum einen schafft er ein gemeinsames Forum, zum anderen die nötige Distanz.
Anhand der Installation Cyber City wird vor der Folie digitaler dreidimensionaler Projektionen der virtuellen Stadt, die in Echtzeit vom Publikum durchfahren werden kann, Wissen über die Stadt aktiviert, entstehen Gedankengebäude in Form der Kommentare der Stadtbewohner. Die bewegten Bilder sind das auslösende Moment der Stadtgespräche. Das Interface wird hierbei auch zum Navigationssystem durch Erinnerung und Gedankengänge über die Zukunft der Stadt. Auch das Projekt [link 11] Floating Numbers von Art+Com ermöglicht eine Interaktion mit projizierten Informationen durch Handbewegungen. Ein sensorische Interface gibt auf Berührung der Projektionsoberfläche hin Textinformationen frei. (Auch hier hat der Teilnehmende am angezeigten Inhalt keinen Anteil, er trifft lediglich eine Auswahl.)

Die [link 12] Responsive Workbench, greift das Tischformat wieder auf und entwickelt es weiter. Sie entsteht 1993/94 in Zusammenarbeit der Wissenschaftler und Künstler Wolfgang Krüger, [link 13] Monika Fleischmann und [link 14] Wolfgang Strauss. Sie zeigt einen interaktiven Tisch auf dessen stereoskopischer Projektionsoberfläche Information in Form dreidimensionaler Modelle buchstäblich begreifbar wird. Hierzu dient ein Datenhandschuh. Wesentliche Neuerung war die horizontale Projektionsoberfläche die im Gegensatz zum Arbeiten vor dem Monitor dialogische Arbeitsformen unterstützte sowie die umgehende Änderung der dreidimensionalen Umgebung per Hand ermöglicht. Intuitives und experimentierendes Arbeiten mit der Hand wird nun auch an digitalen Medien und abstrakten Informationen - bildlich gesprochen: das "Denken mit der Hand" - möglich.
Ausgerüstet mit Mikrophon und Kamera, steuerbar über Spracheingabe, wird die Responsive Workbench in kurzer Zeit ein erster, oft kopierter Prototyp adaptiver, kollaborativer Arbeitsumgebungen. Sie wird unter anderem für wissenschaftliche Visualisierung und im Rapid Protoyping Design angewandt. Bis heute werden weitere Anwendungen für die "Responsive Workbench" programmiert, beispielsweise die Möglichkeit der Formentwicklung durch Handgesten, die erst das wahre Potential zeigen. [link 15] [19]

Die [link 16] Virtual Balance bezieht schließlich den ganzen Körper in die Interaktion ein. Auf der Navigationsplattform navigiert der Teilnehmer durch Gewichtsverlagerung durch die digitale Information. Das Interface zielt auf die körperliche Erfahrbarkeit dreidimensional repräsentierter Daten. Reale Körperbewegung und digitaler Raum stehen in direkter Beziehung. Der Teilnehmer bleibt dabei unverkabelt und auch in seinen Bewegungen völlig frei.
Auch die am MARS-Lab entwickelte [link 17] Info-Jukebox ermöglicht einen Zugang zu digitaler Information über berührungslose Schnittstellen.

Das von Hiroshi Ishii seit 1995 geleitete Forschungsprojekt [link 18] Tangible Bits zum Thema der "Tangible User Interfaces" verknüpft physische Objekte mit digitalen Prozessen. Eine Manipulation, zum Beispiel eine Bewegung des Gegenstandes beeinflusst hier elektronische Prozesse. Auf der Basis des natürlichen menschlichen Verhaltens und Verständnisses von den Dingen gelingt so ein effektiver Zugriff auf und Umgang mit digitalen Daten. Digitale Prozesse werden auf spielerische Weise erfahrbar gemacht und erlauben unterschiedliche Formen der Interaktion. Ishii verweist auf eine konzeptuelle Verbindung zu traditionellen manuellen Rechenmaschinen, die abstrakte gedankliche Operationen anhand materieller Objekte, meist kleiner Holzkugeln oder Plättchen, ermöglichen. [link 19] [20]

Auch der 2002 am MARS-Lab entwickelte [link 20] Soundgarten besteht aus taktilen Lernobjekten, die auch Kindern den Umgang mit digitalen Klanginformationen lehren, die auf einer Datenbank gespeichert sind. Im Unterschied zu herkömmlichen grafischen Soundbearbeitungsprogrammen bezieht Soundgarten die haptisch-taktile Rezeption und die räumliche Wahrnehmung mit ein. Im Spiel mit den kombinierbaren Objekten entstehen individuelle, immer wieder neu manipulierbare Klangumgebungen.

Das von Christian Müller-Thomfelde und Pierre Dutilleux entwickelte [link 21] Architektur Musik Labor (AML) hingegen vertraut auf ein graphisches Interface, über das der Teilnehmer die Simulation eines Klangraumes aktiviert. Er entscheidet hierbei zwischen verschiedenen Räumen, die mit ihren akustischen Eigenschaften dokumentiert wurden und wählt einen Klangtyp, der im entsprechenden Modus wiedergegeben wird. Dominiert häufig im alltäglichen Erleben die visuelle Raumwahrnehmung, so wird hier die akustische Raumerfahrung in den Vordergrund gestellt und auf eine optische Wiedergabe des Raumes vollständig verzichtet. Der Teilnehmer wird so im Umgang mit, sonst meist eher unbewusst aufgenommener, akustischer Information geschult. Akustische Signale werden als Information über die räumliche Situation untersucht und zugänglich gemacht. Erzeugt wird der Eindruck der (akustischen) Anwesenheit an einem repräsentierten Ort. Dieser wird verstärkt durch die Möglichkeit, die eigene Stimme aufzunehmen und bei der Wiedergabe die Akustik eines ausgewählten Raumes zu simulieren.
AML ist ein Instrument zur akustischen Sensibilisierung und für das akustische Experiment. Die Akustik wird hier von der Architektur gelöst. Durch Digitalisierung werden Töne speicherbar, mathematisch veränderbar, abrufbar, verfügbar. Klang wird Zahl.
Mehrere Aspekte der Beziehung von Raum, Klang und Wahrnehmung treten in den Vordergrund. So erhält Raumwahrnehmung eine deutliche zeitliche Dimension. Die Konzentration auf das Akustische ermöglicht auch eine verstärkte Wahrnehmung der Wirkung des Raumklanges auf das vegetative Nervensystem. Weitgehend der bewussten Kontrolle entzogen, werden hierbei Herz, Atemfrequenz und Blutdruck samt der psychosomatischen Implikationen beeinflusst. Der Raum wird - auch in seiner rein akustischen Simulation - körperlich empfunden. Deutlich wird auch die Ausrichtung der Sprache an den Kategorien des Visuellen. So ist es schwierig über den hörbaren Raum zu sprechen. Unsere im visuellen verankerte Sprache versagt, Begriffe scheinen zu fehlen. Wie das Auge ist das Ohr jedoch ein hoch präzises räumliches Messinstrument. Das Ohr wird aber auch durch - auch bewusst gesteuerte - Prozesse der Aufmerksamkeitsverschiebung manipuliert. So ist auch Hören ein Dialog zwischen Außenwelt und Innenwelt. Auch an den akustischen Informationen, die in das Bewusstsein gelangen hat das wahrnehmende Subjekt einen aktiven Anteil.

Auch Augmented-Reality-Systeme ergänzen die Wahrnehmung der realen Umwelt durch digitale, meist visuelle oder akustische Zusatzinformationen. Dem Teilnehmer werden über unterschiedliche Sinneskanäle und in variierender Abhängigkeit von seinem Verhalten Daten zugespielt, die sich mit der Wahrnehmung der realen Umwelt verbinden.

Die vorzustellenden Projekte experimentieren hierbei mit Guide-Funktionen, also mit der Führung durch eine Umgebung, etwa eine Ausstellung. Das jeweilige System übernimmt dann in etwa die Funktion eines persönlichen Tourguides und stellt ergänzende Informationen zu Umgebungen und Objekten bereit. Es hilft dem Besucher, sich sowohl räumlich als auch inhaltlich zurechtzufinden, überlagert hierbei aber auch das Reale mit dem Virtuellen und eröffnet so neue sinnliche Erlebnismöglichkeiten.

In der alltäglichen Wahrnehmung leistet das Gehirn die Integration der über verschiedene Sinneskanäle eingegangenen Information zu einer Gesamtrepräsentation der Umgebung und aktuellen Situation. Visuelle Reize werden mit akustischen in Beziehung gesetzt und so fort. Unter Verwendung eines Augmented-Reality-Systems werden ebenso die ergänzenden Informationen mit den Wahrnehmungen der realen Umwelt in Beziehung gesetzt. Abhängig von der Art der zugespielten Signale werden sie als deutlich von der Umwelt verschiedene Realitätsebene empfunden oder mit dieser im Erleben vermischt, im extremen Fall zu einer scheinbar kohärenten Gesamtwahrnehmung integriert.

Sowohl bei dem Projekt [link 22] ARCHEOGUIDE (Didier Stricker et al., Fraunhofer - Institut für Grafische Datenverarbeitung, 1999 - 2001), als auch dem vom MIRALab für das archäologische Pompei entwickelte System [link 23] LifePlus handelt es sich um visuelle Augmented Reality Guides. Jeweils werden dem Besucher über semitransparente Headmounted Displays dreidimensionale Graphiken zugespielt, die die reale Umgebung ergänzen. Es handelt sich hierbei um visuelle Rekonstruktionen nur fragmentarisch erhaltener Architektur und Malerei, im Fall des LifePlus Projektes aber auch um Rekonstruktionen antiken Lebens. Beide Projekte bedienen sich der GPS Technologie. Eine Verortung der Besucher auf diese Art soll eine freie Navigation durch das Gelände und durch die räumlich verortete Zusatzinformation ermöglichen. Sie gewährleistet zugleich eine präzise Ausrichtung der eingespielten virtuellen Graphiken und ihre optimale visuelle Verbindung mit der realen Umgebung gewährleisten.

Häufiger noch sind akustische Guidesysteme. Während klassische Audioguides dem Betrachter meist - wie auch ein Führer in menschlicher Person - einen Weg durch die Ausstellung vorgeben und wenig Freiheit in der Gestaltung des Rundgangs und in der Wahl der zur Verfügung gestellten Information lassen, ermöglichen neuere Systeme meist eine freie Anwahl einzelner Exponate und somit einen selbstbestimmten Ausstellungsbesuch.
Das auf der am Institut für Medienkommunikation der Fraunhofer Gesellschaft entwickelten LISTEN-Technologie basierende [link 24] Macke Labor (Gerhard Eckel & Ruth Diehl, 2003) erprobt nun ganz neue Möglichkeiten akustischer Informationssysteme. Im Rahmen einer Ausstellung zu Werken des Malers August Macke im Kunstmuseum Bonn wurde ein interaktives Klangenvironment geschaffen, das dem Besucher eine individuelle und freie Navigation durch mehrere Ebenen sprachlicher Information ermöglicht. Ihm werden Kommentare von Kunstwissenschaftlern, Kritikern, Restauratoren und Zeitzeugen zugespielt. Auf diese Weise werden verschiedene Perspektiven auf das jeweilige Werk vorgestellt. Zwischen ihnen wechselt der Besucher mittels einer Standortveränderung. Mit speziellen Empfängerkopfhörern ausgestattet bewegen sich die Besucher frei durch den Raum und navigieren auf diese Weise zugleich durch die Audioinformation. Sie tauchen in einen die Ausstellung erweiternden Klangraum ein, der unterschiedliche Information an unterschiedliche Positionen im Raum und Blickrichtungen bindet. Während der Betrachter durch den physischen Raum bewegt und zum Beispiel an einzelne Bilder herantritt oder in eine bestimmte Richtung blickt, navigiert er zugleich durch eine Datenbank.

Auch Janet Cardiff spielt, häufig in Kollaboration mit George Bures Miller, mit dem Prinzip des Audioguides. Ihre Werkserie [link 25] Walks umfasst eine Reihe seit 1991 entstandener Tonband- oder CD-basierter Audio Führungen. Die Künstlerin verändert - bis auf die Verwendung von 3D Klangaufnahmen - weniger das Format konventioneller Guidesysteme, deutlich aber den Charakter des auf diese Weise vermittelten Inhalts. Der mit Walk- oder Diskman ausgestattete Teilnehmer folgt hier den über Kopfhörer vermittelten Anweisungen Cardiffs, aber auch ihren begleitenden Schritten. Er gewinnt den Eindruck, die Künstlerin begleite ihn persönlich auf der genau festgelegten Route, ja sie befinde sich gewisserweise in seinem Kopf. Ihre Stimme nimmt auf zu sehende Objekte und Räume Bezug, schweift aber auch in eigene Gedanken und Assoziationen ab und geht in fiktive Erzählungen über. Auf diese Weise wird die subjektive Erfahrung der besuchten realen Orte von künstlich erzeugten, sprachlich und klanglich vermittelten Inhalten und Stimmungen geprägt. Die gesehene Umgebung wird durch eine weitere, akustische Realität überlagert und verändert. Dies wird verstärkt noch durch im 3D Sound aufgenommene, sich mit jenen der realen Situation mischende Umgebungsgeräusche, durch die die (akustische) Präsenz vergangener Geschehnisse simuliert wird.
Einen ganz deutlichen Gegenpol zur um Sachlichkeit bemühten Informationsvermittlung durch übliche Audioguide Systeme im kunstvermittelnden Kontext bilden Cardiffs für museale Ausstellungen und Skulpturenparks konzipierte Arbeiten. Hier wird der Besucher meist nicht auf Hintergrundinformationen zu den Werken verwiesen, sondern mit subjektiven Gedanken der Künstlerin konfrontiert und bisweilen zu einer Konzentration auf sonst unbeachtete Situationen und Objekte am Rande der Ausstellung - etwa zu einem Blick aus dem Fenster - aufgefordert. Cardiff schleicht sich in die persönliche Erlebniswelt der Teilnehmenden ein und verändert sie, reflektiert aber in ihrem experimentierenden Umgang zugleich auch das verwendete Medium in seinen Eigenschaften und Möglichkeiten.

[17] Strauss, W. et al.: Staging the space of mixed reality. Reconsidering the concept of a multi-user environment. In: Proceedings of the fourth symposium on the virtual reality modeling language, VRML. February 1999 Paderborn; New York (ACM Press).; vgl. auch: Strauss et al. 2003, S.23.
[18] Siehe auch: [link 26] http://www.integrative-kunst.de/projects/texte/index.htm.
[19] Siehe z.B.: Schkolne, S.: Tracing the Line of Thought on the responsive workbench. Cast01. Living in mixed realities. 2001; [link 27] http://netzspannung.org/cast01/video-archive/.
[20] Vgl.: Ishii, H.: tangible bits. Designing seamless interface - between digital and physical. In: Cast01. Living in mixed realities. Proceedings. Bonn. September 2001, S. 19ff. [link 28] Tangible Bits.