Sonic*

During the 11th Choreographic Coding Lab (@ motion.bank) in Mainz I developed an experimental system to sonify dance movements in real time. The system is based on Motion Bank’s motion tracking system and focuses on tracking the range of limbs, their speed and acceleration, and their spatial relationship to each other. All of this data is forwarded in real time with middleware software (processing) to audio software. This arrangement allows generative audio to be linked to motion in a very direct manner. It opens up an exciting new field in which dance movement and choreography can be influenced by generative systems and vice versa.


Während des elften Choreographic Coding Lab (@motion.bank) in Mainz entwickelte ich ein experimentelles System, um Tanzbewegungen in Echtzeit zu sonifizieren. Das System basiert auf dem Motion Tracking System von Motion Bank und konzentriert sich auf das Tracken der Entfernung von Gliedmaßen, deren Geschwindigkeit und Beschleunigung jedes Tänzers und deren räumliche Beziehung zueinander. Alle diese Daten werden in Echtzeit mit einer Mittlersoftware (Processing) zu einer Audiosoftware weitergeleitet. Durch diese Anordnung kann generatives Audio auf sehr direkte Weise mit Bewegung verknüpft werden. Es eröffnet ein aufregendes neues Feld, in dem Tanzbewegung und Choreografie durch generative Systeme argumentiert beeinflusst werden können und umgekehrt.

betta

The video shows a partly improvised choreography created and executed by
The audio is entirely generated by the tracked data and played back live in the rehearsal space.