Lure ist ein künstlerisches Forschungsprojekt, das sich mit maschinellem Lernen in Theater und Musik beschäftigt. Wir haben verschiedene Techniken des maschinellen Lernens in Kombination mit Musikinstrumenten, Stimme und Erzählung erforscht. Die künstlerische Forschung überträgt Fragen zu den Themen Mensch-Maschine-Interaktion und künstliche Intelligenz auf die Bereiche Theater und Musik.
Für den "experimenta explorer", eine VR/AR-App für Deutschlands größtes Wissenschaftszentrum in Heilbronn, die experimenta, habe ich Ton und Musik erstellt. Die App funktioniert zweifach - als virtueller Spaziergang durch das neu errichtete Gebäude und als eigenständiges Spiel. Im Spielmodus können die Spieler mehr über ausgewählte Exponate erfahren, während sie einen Roboter aus gefundenen/gewonnenen Teilen zusammenbauen. Mit ihrem Roboter können sie mehrere Ebenen durchspielen - alles in erweiterter Realität.
Mit der kostenlosen App "INSIDE MPHIL — St. Nikolai" erleben Sie die Münchner Philharmoniker virtuell auf der Wiese hinter der Kapelle St. Nikolai nahe des Münchner Gasteigs so, als wären die Musiker dort aufgestellt. Mit dem GPS-verbundenen Smartphone und einem Kopfhörer können Sie klanglich in das Orchester hineingehen und dabei die Instrumente so hören, wie die Musiker sich selbst und ihre Kollegen hören. Möglich macht das die raffinierte Smartphone-App.
Der Klangeindruck für den Musiker oder die Musikerin im Orchester unterscheidet sich deutlich vom Klangeindruck des Publikums. Nicht nur die Instrumente, der ganze Klangkörper ist dahingehend konzipiert, dass er mit dem Konzertsaal in Resonanz gerät und eine symbiotische Verbindung mit dem Raum eingeht. Als Zuhörer im Saal bekommt man das Ergebnis dieser komplexen Verbindung zu hören. Kann man dem Zuhörer das Klangerlebnis des Musikers inmitten des Orchesters medial vermitteln? Bericht über ein 360° Virtual Reality Forschungsprojekt mit den Münchner Symphonikern
Der mit der Digitalisierung verbundene Wandel von Linearität zu Nicht-Linearität geht einher mit einer Veränderung des Empfindens von Kunst und Kultur. Wir haben jetzt die Chance, unsere Co-Existenz mit den Algorithmen zu gestalten, nicht nur gesellschaftlich und politisch, sondern insbesondere auch künstlerisch.
ANON: Escape the Murder ist ein First-Person-Adventure-Spiel, das auf der Erzählwelt von ANON basiert, dem Film des von der Kritik gefeierten und preisgekrönten Regisseurs Andrew Niccol (bekannt für Gattaca, In Time). Das mobile Action-Adventure verbindet die spannende Story-Welt des Films mit modernster mobiler Technologie zu einem höchst immersiven Spielerlebnis.
Die klassische Theatersituation haben wir mit der MAYA Augmented Reality App zugunsten einer installativen, Rave-artigen Situation verändert. Lebendig und präsent war als Akteur nur die Maya verkörpernde Mezzosopranistin Martina Koppelstetter. Die digitale Welt, aus der sie kam, wurde per Smartphone und AR sichtbar. Durchs eigene Smartphone diese Welt erfahrend, wandelte der Zuschauer durch die Ruine und wurde durch seine Präsenz zum Konterpart, Mayas Einsamkeit verstärkend: Die Zuschauer verwandelte sich in eine durchs Smartphone gaffende Menge, gegen die MAYA ansingen musste.
VERGEHEN ist eine Oper, die man sich erläuft. Laden Sie einfach die VERGEHEN App auf Ihr Smartphone, nehmen einen Kopfhörer mit und gehen an die Münchner Isar. VERGEHEN kann man sich an jedem Tag zu jeder Zeit und bei jedem Wetter erlaufen.
VERGEHEN ist für einen ganz bestimmten Weg an der Münchner Isar konzipiert und funktioniert auch nur dort vor Ort. Der VERGEHEN VR Trailer ermöglicht es nun, sich an diesen Ort virtuell per VR Brille zu begeben, auch wenn man sich physisch nicht dorthin begeben kann.
Die singende Kamera von Mendel Hardeman war ein Experiment, wie man mit einer Videokamera Sound erzeugen kann: ein bildbasierter Soundsynthesizer. Als Soundprogrammierer half ich ihm bei der Realisation, indem ich die Videoausgabe seiner Kameras nahm, sie in Soundquellen in meinem Kyma-System übersetzte und sie durch matrizierte Kreuzmodulationen und Verzerrungen verarbeitete. Dies ist keine Interpretation der Visuals, sondern das direkte Hören des Videosignals als Ton.