Im Dialog mit einer lernenden Maschine: eine Erforschung von Musik, interaktivem Theater und Live-Performance durch künstliche Intelligenz
Lure ist ein künstlerisches Forschungsprojekt, das sich mit maschinellem Lernen in Theater und Musik beschäftigt. Wir haben verschiedene Techniken des maschinellen Lernens (= „Künstliche Intelligenz“) in Kombination mit Musikinstrumenten, Stimme und Erzählung erforscht. Die künstlerische Forschung überträgt Fragen zu den Themen Mensch-Maschine-Interaktion und KI auf die Bereiche Theater und Musik.
Ursprünglich für den physischen Raum des Münchner Pathos-Theaters gedacht, wurde dieses Projekt dank Corona auch zum Prototyp für eine theatralische Inszenierung im digitalen Raum. Wir inszenierten das Zoom-Fenster so, dass die Zuschauer das Gefühl bekamen, Teilnehmer eines konspirativen Zoom-Treffens zu werden, unter Verwendung eines speziell angefertigten Augmented-Reality-Filters, der auf allen Gesichtern als Maske zu sehen war.
Die Erzählung basiert auf der Erzählung „Parzival“ von Wolfram von Eschenbach. Parzival trifft drei elegante Ritter, beschließt, König Artus zu suchen, und beginnt eine spirituelle und physische Suche nach dem Gral, auf der Suche nach der Welt außerhalb des Waldes, in dem er aufgewachsen ist.
In Lure haben wir die Figur des Parzival, nun in einem Computer aufgewachsen, mit einer ähnlichen Intentionalität ausgestattet. Er begegnet Ihnen, einem/einer der Zuschauer*innen. Er möchte etwas über Sie und die Welt lernen und beginnt ein Gespräch mit Ihnen. Er versucht, sich auszudrücken, indem er mit einem Musiker spielt. Und er verlässt seine virtuelle Begrenzung, um die Welt auf eigene Faust zu erkunden.
Mit unseren drei Prototypen haben wir drei verschiedene künstlerische und technologische Ansätze untersucht: Entwickeln Sie Empathie mit der Computerfigur, indem Sie herausfinden, wie sie lernt. Erleben Sie sein Innenleben durch theatralischen Ausdruck. Und lassen Sie sich von seiner musikalischen Sensibilität berühren.
Das Publikum wurde aufgefordert, mit unserer Figur Parzival zu interagieren. „Lure“ war eine interaktive Präsentation unserer Forschung und der drei Prototypen als künstlerische Schritte und obwohl es sich um work-in-progress handelt, wurde es in einer theatralisch inszenierten Online-Performance präsentiert.
Kernbeteiligte des Projekts sind der Münchner Komponist und Theatermacher Mathis Nitschke, die Amsterdamer Experience Artists Luciano Pinna und Klasien van de Zandschulp, die Wissenschaftler des Münchner Volkswagen Group Machine-Learning Research Lab (argmax.ai) Patrick van der Smagt, Djalel Benbouzid und Nutan Chen sowie die Münchner Dramaturgin Elsa Büsing.
Full Performance Video
Stellen Sie sich als Zuschauer vor, Sie wären einer der Teilnehmer dieses Zoom-ähnlichen Treffens. Sie betreten den Raum mit Ihrer Webcam unter Verwendung desselben speziell angefertigten Augmented-Reality-Filters, den Sie auf allen Gesichtern im Video sehen.
Wir laden Sie ein, Ihren Raum zu verdunkeln, um das volle Erlebnis zu erhalten.
Kapitel
00:35 PARZIVAL rennt durch den Wald
04:10 PROTOTYP 1: Singen mit den Vögeln.
Parzival im musikalischen Zusammenspiel mit einer Sängerin. Eine künstlerische Idee eines musikalischen Dialogs zwischen Maschine und Darsteller. Die Benutzerschnittstelle zeigt einen Lernprozess, der zwischen Darsteller und Musiker stattfinden könnte.
09:43 PARZIVAL und Herzeloide
12:43 PROTOTYP 2: Mit den Rittern jammen.
Parzival, die Maschine, im spielerischen Zusammenspiel mit einem Schlagzeuger. Gleichzeitig wird sichtbar gemacht, was in der Maschine passiert.
21:00 PARZIVAL trifft auf die Ritter
22:50 PROTOTYP 3: Ein Gespräch mit euch, Engel!
Parzival ist neugierig darauf, mit Ihnen hier zu plaudern: lure.bsqd.me
30:33 PROTOTYP 4: Wie sieht es dort aus, wo der Wald endet?
Parzival benutzt Ihre Antworten, um einen Korpus von Bildern zu sammeln, mit denen er sich ein Bild von der Welt macht. Parzival verlässt den Raum.
Q&A Session
direkt nach der Lure Open Studio Performance am 13. November 2020. Mit (links nach rechts, oben nach unten) Mathis Nitschke, Elsa Büsing, Luciano Pinna, Katharina Dobner, Martina Koppelstetter, Nutan Chen, Klasien van de Zandschulp, Patrick van der Smagt, Mara Widmann, Matthias Lachenmayer and Djalel Benbouzid
Besprechung
Rita Argauer schrieb eine wunderbare Kurzkritik in der Süddeutsche Zeitung: „der kurze Moment, in dem Computer und Mensch künstlerisch zusammenkamen, ist voll von Grusel und Schönheit, Ambivalenz und Theatralität. So etwas durch einen elendigen Computerbildschirm zu erzeugen, ist eine große Leistung.“
Einladungstext
Eine neugierige und kreative Figur erwacht. Im Inneren eines Computers entwickelt, sehnt sie sich danach, zu lernen. Als Zuschauer begegnen Sie ihr in unserer Performance. Die Computerfigur will mehr über Sie erfahren und beginnt ein Gespräch. Sie versucht sich in einem intimen Zusammenspiel mit einem Musiker auszudrücken. Und sie verlässt diesen Raum, um die Welt auf eigene Faust zu erkunden.
In unserem offenen Studio laden wir Sie ein zu einer spielerischen und interaktiven Begegnung mit Musik, Performance und kollektiver Entdeckung. Sie werden mit unserer Figur Parzival interagieren können, einem KI-Modell, das nach dem mittelalterlichen Abenteurer geschaffen wurde.
Mit unseren Prototypen untersuchen wir drei verschiedene künstlerische und technische Ansätze: Können Sie Empathie mit einer rechnergestützten Figur entwickeln, indem Sie erfahren, wie sie lernt? Können Sie ihr Innenleben über theatralischen Ausdruck erleben? Und lassen Sie sich von ihrer musikalischen Sensibilität berühren?
Das künstlerische Forschungsprojekt „Lure“ (Verlockung) überträgt Fragen zu den Themen Mensch-Maschine-Interaktion und Künstlicher Intelligenz auf die Bereiche Theater und Musik. Wir öffnen unsere Werkstatt und zeigen unsere ersten technischen Prototypen und künstlerischen Schritte als Work-in-Progress, in einem theatral inszenierten Online Meeting.
Team
“Lure” ist ein Projekt des Münchner Komponisten und Theatermachers Mathis Nitschke, der Amsterdamer Interaktionskünstler Luciano Pinna und Klasien van de Zandschulp, der Wissenschaftler des Münchner Volkswagen Group Machine-Learning Research Lab (argmax.ai) Patrick van der Smagt, Djalel Benbouzid, Nutan Chen und der Münchner Dramaturgin Elsa Büsing.
mit
Mara Widmann: Erzählerin
Martina Koppelstetter: Sängerin
Matthias Lachenmayer: Schlagzeuger
Katharina Dobner: Masken- und Feuergestaltung
Dominik Theobald: Digitaler Baum
Musical contributions by gamut inc, Jörg Hüttner, Martina Koppelstetter, Matthias Lachenmayer, Mathis Nitschke, Alexander Schubert
Parzival’s learning machine is based on the flat latent-variable models explained in https://argmax.ai/blog/metric/.
Besides our custom development tools we use these projects: Google Magenta, Tensorflow Pix2pix, OpenAI GPT-2, RunwayML, AIVA, Botsquad, Lens Studio, Av3ry
“Lure” is funded and supported by the Dutch Creative Industries Fund NL, the German Fonds Darstellende Künste, and the Volkswagen Group Machine Learning Research Lab.
Thanks to Pathos Theater, Mario Klingemann, Memo Akten, Vladimir Viro, Arjan Scherpenisse, Botond Cseke, Milo Schagen, Michael Schwarzfischer, Markus Krause, Tankred Dorst and Wolfram von Eschenbach.
