Die singende Kamera von Mendel Hardeman war ein Experiment, wie man mit einer Videokamera Sound erzeugen kann: ein bildbasierter Soundsynthesizer. Als Soundprogrammierer half ich ihm bei der Realisation, indem ich die Videoausgabe seiner Kameras nahm, sie in Soundquellen in meinem Kyma-System übersetzte und sie durch matrizierte Kreuzmodulationen und Verzerrungen verarbeitete. Dies ist keine Interpretation der Visuals, sondern das direkte Hören des Videosignals als Ton. Hören Sie das Ergebnis:
Ausgangspunkt
Wann immer eine Kamera ein helles Bild sieht, erzeugt sie ein elektrisches Signal mit hoher Amplitude. Ein dunkles Bild wird in eine niedrige Amplitude übersetzt. Jede Sekunde scannt die Kamera das Bild 50 Mal und erzeugt eine 50Hz-Periode in der Spannung. Diese Spannung kann durch einfaches Einstecken des Signals in ein Audiosystem hörbar gemacht werden. Mit anderen Worten, eine Kamera kann, wenn sie modifiziert wird, zu einem Klangerzeuger werden. Diese Idee war der Ausgangspunkt für Mendels Forschung.
Wenn Sie das Signal der Videokamera in ein Audiosystem einstecken, hören Sie hauptsächlich den 50Hz-Summton, der alle anderen vom Signal übertragenen Informationen abdeckt. Wenn es Ihnen gelingt, die Synchronisationssignale loszuwerden, sollte eine reine Übersetzung von LICHT in SPANNUNG übrig bleiben.
Hören Sie sich den Klang der reinen Kamera-Ausgabe an, die auf ein Zebramuster zeigt:
Signalreinigung
Die Aufgabe bestand darin, das Signal vom 50Hz-Burst zu reinigen, der allgemein auch als Black Burst bekannt ist. Es wird zur Synchronisation der analogen Videotechnik eingesetzt.
Die Aufgabe bestand darin, die 2 ms Austastperiode zu Beginn des 20 ms Zyklus (bei 50 Halbbildern pro Sekunde) abzuschneiden und dann die restlichen 18 ms der aktiven Videozeit auf einen nahtlosen 20 ms Zyklus zu verlangsamen.
Um den Burst zu erkennen, baute der brillante Lex van den Broek von der technischen Abteilung des Königlichen Konservatoriums Den Haag eine Box, die bei jedem Burst einen kurzen 22kHz Burst ausgab. Nach dieser Umwandlung in ein Audiosignal konnte Kyma es erkennen. Kyma schrieb den Zyklus in den Speicher, las Millisekunden 3-20 aus und spielte ihn mit einem Geschwindigkeitsfaktor von 1,11 ab, was wieder zu einem vollständigen Zyklus führte. Wir haben einen Live-Parameter hinzugefügt, um das Signal für den Klangeffekt noch viel tiefer zu stimmen.
Performance
Nachdem wir einen Weg gefunden hattenen, die Synchronisationsinformationen aus dem Signal zu filtern, können Sie Video hören. Nicht eine Interpretation des Signals durch einen Computer – es ist das Video selbst, das Sie hören. Wenn man dann mit der Kamera ein Muster von horizontalen schwarzen und weißen Balken scannt, erzeugt jeder weiße Balken einen Impuls und jeder schwarze Balken eine Stille. Die Kamera wird zum Impulsgeber, und die Anzahl der schwarzen und weißen Balken bestimmt die Frequenz, die Sie hören. Je weniger Balken die Kamera sieht, desto niedriger ist die Frequenz. Je mehr Strahlen, desto höher. Je näher die Kamera am Muster ist, desto weniger Balken sieht sie. Wenn Sie die Kamera langsam vom Muster wegbewegen, erhält sie eine größere Ansicht und sieht mehr Balken. Dadurch entsteht ein Glissando über alle verfügbaren Töne.
In diesem Projekt wurden die Musiker eines Barockensembles mit kleinen schwarz-weißen Überwachungskameras ausgestattet. Die Blockflötistin ließ eine an das Ende ihres Instruments montieren; der Cembalist hatte zwei, eine an jeder Stange; der Geiger hatte eine auf der Stirn.
Die Klangfarbe unterscheidet sich je nach Muster. Die Klangfarbe kann durch Änderungen der weißen oder schwarzen Helligkeit beeinflusst werden. Sie variiert auch mit der Breite der weißen Balken im Vergleich zu den schwarzen. Der Klang wird durch die Einführung von Rauschen (Textur) im Bild rauer, anstatt von reinem Schwarz-Weiß. Die Schärfe des Klangs wird beeinflusst, wenn der Übergang von Weiß zu Schwarz weniger scharf wird, und auch durch die Kameraneigung: Wenn ein Balken nicht perfekt gerade ist, wird der Ton weniger klar. Der Fokus der Kamera kann verwendet werden, um den Klang schärfer oder weniger scharf zu machen, und dient als Tiefpassfilter.
Durch das Mischen verschiedener Muster in einem Bild entsteht ein Intervall anstelle eines einzelnen Tons.
So kann Musik buchstäblich gezeichnet werden. Jedes Muster von hell und dunkel kann verwendet werden: ein schwarzer Text auf einem weißen Blatt; eine Wand aus hellen Ziegeln mit dunklem Zement; ein Zebra; die Tastatur eines Cembalos.
Ein neues Instrument, mit vielen Möglichkeiten, die nur darauf warten, entdeckt und genutzt zu werden.
