Mathis Nitschke und Pablo Heras-Casado (Foto: Melanie Lechmann)
Was ist „Inside MPhil – St. Nikolai“?
„Inside MPhil – St. Nikolai“ platziert die Münchner Philharmoniker virtuell auf die Wiese neben der Kirche St. Nikolai. Sie können die Orchestermusiker erleben, als wären sie tatsächlich dort aufgestellt. Mit der GPS-gesteuerten App für Android und iOS Smartphones und einem Kopfhörer können Sie klanglich in das Orchester hineingehen und dabei die Instrumente so hören, als würden Sie unmittelbar neben ihnen stehen, genau so, wie die Musiker sich selbst und ihre Kollegen hören: die Geigen, die Oboe, die Pauken oder was immer Sie gerade hören wollen.
Wo spielt „Inside MPhil – St. Nikolai“?
Die Kirche St. Nikolai befindet sich in Haidhausen, München, in unmittelbarer Nähe des Gasteig. Die Wiese, auf der das virtuelle Orchester spielt, finden Sie dann, vom Gasteig kommend, auf der hinteren Seite der Kirche, zwischen Kirche und Kinderspielplatz. Nutzen Sie auch diesen Google Link: https://goo.gl/maps/jBb8xeQX3WYYCnB59
Was wird gespielt und wie lange dauert die Experience?
Wir verwenden einen Mitschnitt des 4. Satzes der 1. Symphonie von Robert Schumann, aufgenommen im März 2019 unter der Leitung von Pablo Heras-Casado. DIe Experience dauert etwa 10 Minuten.
Sammelt die App Daten?
Nein, wir sammeln keine personenbezogenen Daten. Wir protokollieren, wenn jemand die App nutzt, speichern dazu aber nur Datum und Uhrzeit. Dies dient rein statistischen Zwecken.
Kann ich „Inside MPhil“ auch woanders erleben?
Das wird evtl. in der Zukunft möglich werden.
Was braucht man dazu?
Die Audioverarbeitung in der App ist hochkomplex und sehr anspruchsvoll, was die Rechenleistung des Smartphones angeht. Die Minimalanforderungen sind eine Samsung S7 unter Android oder ein iPhone SE unter iOS, auf diesen Geräten wurde die App entwickelt und getestet. Ausserdem brauchen Sie einen Kopfhörer.
Ist das GPS System genau genug für diese Anwendung?
Nein, ist es nicht. Aber die alternativen Methoden der Ortsbestimmung über z.B. visuelle Erkennung oder Bluetoothsender mussten aus praktischen Gründen alle ausgeschlossen werden. Trauen Sie sich, große Bewegungen zu machen und einfach mal ans andere Ende der Wiese zu gehen, wenn das GPS Ihnen ein paar Meter nicht folgen sollte.
Wie funktioniert die App technisch?
„3D Audio“ bezeichnet das Hören aus jeder horizontalen und vertikalen Richtung. Ein Hörerlebnis, wie es der Mensch in der Realität hat und das über die üblichen Surroundformate wie 5.1 hinausgeht. Da wir mit unseren zwei Ohren in jede Richtung hören können, reichen auch die beiden Kopfhörermuscheln aus um dieses Rundum-Klangerlebnis zu erzeugen (binaural = mit zwei Ohren). Die sog. Kunstkopfstereophonie kennt dieses Prinzip schon seit bereits fast 100 Jahren. Die heutige digitale Technik erlaubt ein Synthetisieren der binauralen Richtungsinformation, was ganz neue sinnliche Erfahrungen ermöglicht.
Herzstück der App sind die Spatial Sound Algorithmen von Dear Reality. Über die sog. Synthetische Binauralisation werden damit Klangquellen über Kopfhörer in alle Richtungen des dreidimensionalen Raums um den Kopf herum verortet. Sprich: man kann nicht nur steuern, ob Sie den Klang von rechts oder links, sondern auch von vorne oder hinten oder oben oder unten hören.
Orchester werden mit vielen Stützmikrofonen aufgenommen. Wir nehmen für die App all diese Stützen und verteilen Sie geographisch auf der Wiese. Sie bewegen sich als Hörender dann durch diese Stützmikrofone hindurch, die alle per synthetischer Binauralisation aus der richtigen Richtung zu hören sind. Insgesamt spielt Ihr Smartphone 22 Spuren ab, alle über diese sog. HRTF-Filter. Es ist wirklich erstaunlich, was heutige Smartphones zu leisten vermögen.
Klingt eigentlich einfach, benötigt aber ein sehr hohes Maß an Feinjustage.
Wo bekomme ich „Inside MPhil – St. Nikolai“?
Zum Download klicken Sie die Graphiken an:
Gibt es weitere verwandte Arbeiten?
