ArteAudioAI
Interazione gestualeComposizione elettroacustica

Phonk Hand

Studio di interazione gestuale a due mani. La webcam diventa strumento per accompagnamento armonico e improvvisazione melodica (MediaPipe, Tone.js).

Phonk Hand

Studio di interazione gestuale tra mano e suono. MediaPipe Hands traccia entrambe le mani dalla webcam e le traduce in un motore audio Tone.js a oscillatori always-on, modulati senza inviluppo per garantire stabilità di intonazione.

Due modalità di esecuzione fondate su teoria musicale reale. CHORDS, per l'accompagnamento al canto. La mano sinistra sceglie il grado di una progressione, la destra il tipo di accordo, la rotazione del polso il rivolto. MELODY, per l'improvvisazione. La sinistra seleziona uno dei sette accordi diatonici della tonalità, la destra suona su una di tredici scale (pentatoniche, modi diatonici, blues, hirajoshi, hijaz, bhairav, pelog), con vibrato e tremolo controllati dal movimento.

Il volume di ciascuna mano risponde alla distanza dalla camera; il pugno chiuso silenzia una voce senza fermare l'altra. Registrazione video integrata con condivisione nativa, per documentare le performance. Bilingue IT/EN. Un caso di studio per la didattica dell'armonia e dell'interaction design.

Features

Tracking di entrambe le maniModalità CHORDS e MELODY6 progressioni, 12 tonalità, 13 scaleVolume per distanza dalla cameraVibrato e tremolo gestualiRegistrazione e condivisione video

Stack tecnico

JavaScriptMediaPipe HandsMediaPipe FaceMeshTone.jsWeb Audio APIMediaRecorderWeb Share APIPWA

Collaborazioni e ricerca

Se questo lavoro è rilevante per il tuo ambito di ricerca, scrivimi per esplorare possibili collaborazioni.

Parliamone →