Im Dialog mit einer lernenden Maschine: eine Erforschung von Musik, interaktivem Theater und Live-Performance durch künstliche Intelligenz

Lure ist ein künstlerisches Forschungsprojekt, das sich mit maschinellem Lernen in Theater und Musik beschäftigt. Wir haben verschiedene Techniken des maschinellen Lernens in Kombination mit Musikinstrumenten, Stimme und Erzählung erforscht. Die künstlerische Forschung überträgt Fragen zu den Themen Mensch-Maschine-Interaktion und künstliche Intelligenz auf die Bereiche Theater und Musik.

Die Erzählung basiert auf dem klassischen Roman „Parzival“ von Wolfram von Eschenbach. Parzival trifft drei elegante Ritter, beschließt, König Artus zu suchen, und setzt eine spirituelle und physische Suche nach dem Gral fort, auf der Suche nach der Welt außerhalb des Waldes, in dem er aufgewachsen ist. In Lure haben wir die Figur des Parzival, nun in einem Computer entwickelt, mit einer ähnlichen Intentionalität eingesetzt. Es möchte etwas über Sie und die Welt lernen und beginnt ein Gespräch mit Ihnen. Es versucht, sich auszudrücken, indem es mit einem Musiker spielt. Und es verlässt seine virtuelle Begrenzung, um die Welt auf eigene Faust zu erkunden.

Mit unseren drei Prototypen haben wir drei verschiedene künstlerische und technologische Ansätze untersucht. Entwickeln Sie Empathie mit der Computerfigur, indem Sie herausfinden, wie sie lernt. Erleben Sie sein Innenleben durch theatralischen Ausdruck. Und lassen Sie sich von seiner musikalischen Sensibilität berühren.

Wir entwickelten ein offenes Atelier-Event, bei dem wir das Publikum zu einer spielerischen Session mit Musik, Performance und kollektiver Entdeckung einluden. Das Publikum wurde aufgefordert, mit unserer Figur Parzival zu interagieren. Es war eine interaktive Präsentation unserer Forschung und der drei Prototypen als künstlerische Schritte und obwohl es sich um work-in-progress handelt, wurde es in einer theatralisch inszenierten Online-Performance präsentiert.

Kernbeteiligte des Projekts sind der Münchner Komponist und Theatermacher Mathis Nitschke, die Amsterdamer Experience Artists Luciano Pinna und Klasien van de Zandschulp, die Wissenschaftler des Münchner Volkswagen Group Machine-Learning Research Lab (argmax.ai) Patrick van der Smagt, Djalel Benbouzid und Nutan Chen sowie die Münchner Dramaturgin Elsa Büsing.

 

Full Performance Video

Ursprünglich für den physischen Raum des Münchner Pathos-Theaters gedacht, wurde dieses Projekt dank Corona auch zum Prototyp für eine theatralische Inszenierung im digitalen Raum. Stellen Sie sich als Zuschauer vor, Sie wären einer der Teilnehmer dieses Zoom-ähnlichen Treffens. Sie betreten den Raum mit Ihrer Webcam unter Verwendung desselben speziell angefertigten Augmented-Reality-Filters, den Sie auf allen Gesichtern im Video sehen.

Wir laden Sie ein, Ihren Raum zu verdunkeln, um das volle Erlebnis zu erhalten.

Kapitel

00:35 PARZIVAL rennt durch den Wald

04:10 PROTOTYP 1: Singen mit den Vögeln.
Parzival im musikalischen Zusammenspiel mit einer Sängerin. Eine künstlerische Idee eines musikalischen Dialogs zwischen Maschine und Darsteller. Die Benutzerschnittstelle zeigt einen Lernprozess, der zwischen Darsteller und Musiker stattfinden könnte.

09:43 PARZIVAL und Herzeloide

12:43 PROTOTYP 2: Mit den Rittern jammen.
Parzival, die Maschine, im spielerischen Zusammenspiel mit einem Schlagzeuger. Gleichzeitig wird sichtbar gemacht, was in der Maschine passiert.

21:00 PARZIVAL trifft auf die Ritter

22:50 PROTOTYP 3: Ein Gespräch mit euch, Engel!
Parzival ist neugierig darauf, mit Ihnen hier zu plaudern: lure.bsqd.me

30:33 PROTOTYP 4: Wie sieht es dort aus, wo der Wald endet?
Parzival benutzt Ihre Antworten, um einen Korpus von Bildern zu sammeln, mit denen er sich ein Bild von der Welt macht. Parzival verlässt den Raum.

 

Q&A Session

direkt nach der Lure Open Studio Performance am 13. November 2020. Mit (links nach rechts, oben nach unten) Mathis Nitschke, Elsa Büsing, Luciano Pinna, Katharina Dobner, Martina Koppelstetter, Nutan Chen, Klasien van de Zandschulp, Patrick van der Smagt, Mara Widmann, Matthias Lachenmayer and Djalel Benbouzid

 

Besprechung

Rita Argauer schrieb eine wunderbare Kurzkritik in der Süddeutsche Zeitung: „der kurze Moment, in dem Computer und Mensch künstlerisch zusammenkamen, ist voll von Grusel und Schönheit, Ambivalenz und Theatralität. So etwas durch einen elendigen Computerbildschirm zu erzeugen, ist eine große Leistung.“

Matthias Lachenmayer mit dem von Argmax.ai erstellten FMVAE-Modell

Einladungstext

Eine neugierige und kreative Figur erwacht. Im Inneren eines Computers entwickelt, sehnt sie sich danach, zu lernen. Als Zuschauer begegnen Sie ihr in unserer Performance. Die Computerfigur will mehr über Sie erfahren und beginnt ein Gespräch. Sie versucht sich in einem intimen Zusammenspiel mit einem Musiker auszudrücken. Und sie verlässt diesen Raum, um die Welt auf eigene Faust zu erkunden.

In unserem offenen Studio laden wir Sie ein zu einer spielerischen und interaktiven Begegnung mit Musik, Performance und kollektiver Entdeckung. Sie werden mit unserer Figur Parzival interagieren können, einem KI-Modell, das nach dem mittelalterlichen Abenteurer geschaffen wurde.

Mit unseren Prototypen untersuchen wir drei verschiedene künstlerische und technische Ansätze: Können Sie Empathie mit einer rechnergestützten Figur entwickeln, indem Sie erfahren, wie sie lernt? Können Sie ihr Innenleben über theatralischen Ausdruck erleben? Und lassen Sie sich von ihrer musikalischen Sensibilität berühren?

Das künstlerische Forschungsprojekt „Lure“ (Verlockung) überträgt Fragen zu den Themen Mensch-Maschine-Interaktion und Künstlicher Intelligenz auf die Bereiche Theater und Musik. Wir öffnen unsere Werkstatt und zeigen unsere ersten technischen Prototypen und künstlerischen Schritte als Work-in-Progress, in einem theatral inszenierten Online Meeting.

Katharina Dobner filmt das Lure Feuer

Team

“Lure” ist ein Projekt des Münchner Komponisten und Theatermachers Mathis Nitschke, der Amsterdamer Interaktionskünstler Luciano Pinna und Klasien van de Zandschulp, der Wissenschaftler des Münchner Volkswagen Group Machine-Learning Research Lab (argmax.ai) Patrick van der Smagt, Djalel Benbouzid, Nutan Chen und der Münchner Dramaturgin Elsa Büsing.

mit
Mara Widmann: Erzählerin
Martina Koppelstetter: Sängerin
Matthias Lachenmayer: Schlagzeuger
Katharina Dobner: Masken- und Feuergestaltung
Dominik Theobald: Digitaler Baum

Musical contributions by gamut inc, Jörg Hüttner, Martina Koppelstetter, Matthias Lachenmayer, Mathis Nitschke, Alexander Schubert

Parzival’s learning machine is based on the flat latent-variable models explained in https://argmax.ai/blog/metric/.

Besides our custom development tools we use these projects: Google Magenta, Tensorflow Pix2pix, OpenAI GPT-2, RunwayML, AIVA, Botsquad, Lens Studio, Av3ry

“Lure” is funded and supported by the Dutch Creative Industries Fund NL, the German Fonds Darstellende Künste, and the Volkswagen Group Machine Learning Research Lab.

Thanks to Pathos Theater, Mario Klingemann, Memo Akten, Vladimir Viro, Arjan Scherpenisse, Botond Cseke, Milo Schagen, Michael Schwarzfischer, Markus Krause, Tankred Dorst and Wolfram von Eschenbach.

 

Endsequenz mit einem pix2pix-Modell, das auf einem Bildkorpus trainiert wurde, der auf der Grundlage von Publikumsantworten im Chatbot gesammelt wurde.

You may also like