Phonk Hand
Studio di interazione gestuale a due mani. La webcam diventa strumento per accompagnamento armonico e improvvisazione melodica (MediaPipe, Tone.js).

Studio di interazione gestuale tra mano e suono. MediaPipe Hands traccia entrambe le mani dalla webcam e le traduce in un motore audio Tone.js a oscillatori always-on, modulati senza inviluppo per garantire stabilità di intonazione.
Due modalità di esecuzione fondate su teoria musicale reale. CHORDS, per l'accompagnamento al canto. La mano sinistra sceglie il grado di una progressione, la destra il tipo di accordo, la rotazione del polso il rivolto. MELODY, per l'improvvisazione. La sinistra seleziona uno dei sette accordi diatonici della tonalità, la destra suona su una di tredici scale (pentatoniche, modi diatonici, blues, hirajoshi, hijaz, bhairav, pelog), con vibrato e tremolo controllati dal movimento.
Il volume di ciascuna mano risponde alla distanza dalla camera; il pugno chiuso silenzia una voce senza fermare l'altra. Registrazione video integrata con condivisione nativa, per documentare le performance. Bilingue IT/EN. Un caso di studio per la didattica dell'armonia e dell'interaction design.
Features
Stack tecnico
Collaborazioni e ricerca
Se questo lavoro è rilevante per il tuo ambito di ricerca, scrivimi per esplorare possibili collaborazioni.
Parliamone →