Vai al contenuto

Opere e strumenti di composizione

Phonk Hand

Studio di interazione gestuale a due mani. La webcam diventa strumento per accompagnamento armonico e improvvisazione melodica (MediaPipe, Tone.js).

Contributo dell'autore
Ideazione, mappatura fra gesto e suono, sviluppo.
Stato
Studio
Phonk Hand

Il progetto

Studio di interazione gestuale tra mano e suono. MediaPipe Hands traccia entrambe le mani dalla webcam e le traduce in un motore audio Tone.js a oscillatori always-on, modulati senza inviluppo per garantire stabilità di intonazione.

Due modalità di esecuzione fondate su teoria musicale reale. CHORDS, per l'accompagnamento al canto. La mano sinistra sceglie il grado di una progressione, la destra il tipo di accordo, la rotazione del polso il rivolto. MELODY, per l'improvvisazione. La sinistra seleziona uno dei sette accordi diatonici della tonalità, la destra suona su una di tredici scale (pentatoniche, modi diatonici, blues, hirajoshi, hijaz, bhairav, pelog), con vibrato e tremolo controllati dal movimento.

Il volume di ciascuna mano risponde alla distanza dalla camera; il pugno chiuso silenzia una voce senza fermare l'altra. Registrazione video integrata con condivisione nativa, per documentare le performance. Bilingue IT/EN. Un caso di studio per la didattica dell'armonia e dell'interaction design.

Funzioni

  • Tracking di entrambe le mani
  • Modalità CHORDS e MELODY
  • 6 progressioni, 12 tonalità, 13 scale
  • Volume per distanza dalla camera
  • Vibrato e tremolo gestuali
  • Registrazione e condivisione video

Caratteristiche

  • Audio
  • AI

Stack tecnico

  • JavaScript
  • MediaPipe Hands
  • MediaPipe FaceMesh
  • Tone.js
  • Web Audio API
  • MediaRecorder
  • Web Share API
  • PWA

Collaborazioni e ricerca

Se questo lavoro è rilevante per il tuo ambito, profilo e contatti sono sul sito principale.

Contatti su francescomariano.art