Quintas Jornadas de Acstica, Electroacstica y reas Vinculadas - CADAE UADE - Octubre 2006

Sntesis Digital de
Sonido en Tiempo Real
por Modelado Fsico de
Instrumentos Virtuales
de Cuerda Percutida

Autores: Nelly Villacorta, Carlos Marchiaro Director: Ing. Federico Miyara Asesora: Ing. Silvina Ferradal

INTRODUCCIN

>> Introduccin

INTRODUCCIN

Motivaciones del proyecto

>> Desarrollo e implementacin de un sintetizador >> Sonidos naturales sin imitar a instrumentos acsticos

>> Empleo de tcnicas actuales

CONCEPTOS PRINCIPALES

>> Conceptos principales

CONCEPTOS PRINCIPALES

>> Tcnicas de sntesis digital

1. Algoritmos abstractos 2. Procesamiento de muestras grabadas 3. Modelado espectral

4. Modelado fsico
Fuente: [1]

CONCEPTOS PRINCIPALES

Ventajas
Mayor expresividad
Sonidos naturales Parmetros con significado fsico

Desventajas
Gran requerimiento computacional Alta complejidad del proceso de sntesis

No se requieren grabaciones Costo moderado

Fuentes: [9], [2], [14]

CONCEPTOS PRINCIPALES

Fuente: [12]

CONCEPTOS PRINCIPALES

>> Divisin del sistema fsico en partes

(a) Mecanismo de excitacin (b) Resonador (c) Radiador

Fuente: [12]

CONCEPTOS PRINCIPALES (a) Mecanismo de excitacin

Ejerce una accin mecnica sobre el resonador, excitando sus modos vibratorios

Fuente: [12]

CONCEPTOS PRINCIPALES (b) Resonador

Su estructura admite diversos modos de propagacin mutuamente relacionados

Fuente: [12]

CONCEPTOS PRINCIPALES (c) Radiador

Recibe las vibraciones de uno o ms sistemas resonantes, radindolas como una onda acstica

Fuente: [12]

CONCEPTOS PRINCIPALES Modelo del mecanismo de excitacin

El martillo se modela como un resorte no lineal vinculado a una masa, considerando una interaccin histertica con el resonador.
Fuentes: [12], [19], [20], [21]

CONCEPTOS PRINCIPALES

Modelo del resonador

El modelo del resonador corresponde al de una cuerda con extremos fijos, de rigidez no nula y con prdidas de energa, admitiendo un nico modo transversal de propagacin.

Fuentes: [12], [13], [15], [16]

CONCEPTOS PRINCIPALES Modelo del radiador

El radiador es modelado como un sistema lineal y estacionario, caracterizado por su respuesta impulsiva.
Fuentes: [16], [22], [23], [24]

ALGORITMO

DE

SIMULACIN

>> Algoritmo de simulacin

ALGORITMO

DE

SIMULACIN

Caractersticas del mtodo FTM

>> Orientado a la percepcin >> Versatilidad Es una tcnica de descomposicin modal, no de dominio temporal Se aplica a sistemas lineales y a ciertos fenmenos no lineales

>> Parmetros intuitivos

>> Alta complejidad computacional

Basado en magnitudes con verdadero significado fsico

Demanda mayor cantidad de recursos de procesamiento
Fuentes: [6], [48]

PARTES

DEL

SISTEMA

>> Partes del sistema

PARTES

DEL

SISTEMA

Divisin del sistema en partes

PARTES
1. Dispositivo MIDI de Control

DEL

SISTEMA

2. Aplicacin Host 3. Aplicacin Target

4. Dispositivo Amplificador y Reproductor

PARTES

DEL

SISTEMA

APLICACIN HOST

>> Aplicacin Host

APLICACIN HOST
Aplicacin Host Modalidad de edicin

APLICACIN HOST
Aplicacin Host Modalidad de control

APLICACIN TARGET

>> Aplicacin Target

APLICACIN TARGET
Aplicacin Target Procesos intervinientes

ANLISIS

DE LOS

RESULTADOS

>> Anlisis de los Resultados

ANLISIS

DE LOS

RESULTADOS
-- Posicin de la cuerda (sin convolucionar) -- Seal convolucionada (salida final)

Seal en el dominio temporal

>> Ejemplo 1

La seal presenta una inarmonicidad moderada

reproducir

Seal en el dominio frecuencial

ANLISIS

DE LOS

RESULTADOS
-- Posicin de la cuerda (sin convolucionar) -- Seal convolucionada (salida final)

Seal en el dominio temporal

>> Ejemplo 2

La seal presenta una inarmonicidad leve

reproducir

Seal en el dominio frecuencial

ANLISIS

DE LOS

RESULTADOS
-- Posicin de la cuerda (sin convolucionar) -- Seal convolucionada (salida final)

Seal en el dominio temporal

>> Ejemplo 3

La seal presenta una inarmonicidad elevada

reproducir

Seal en el dominio frecuencial

ANLISIS

DE LOS

RESULTADOS
>> Ejemplo 4 Una misma cuerda es vinculada a tres tablas armnicas diferentes Tabla Armnica 1
reproducir

Tabla Armnica 2
reproducir

Tabla Armnica 3
reproducir

ANLISIS

DE LOS

RESULTADOS

Ejemplos de interpretacin musical

>> Instrumento Virtual 1 Parmetros del ejemplo 1 + Tabla armnica 1
reproducir

>> Instrumento Virtual 2 Parmetros del ejemplo 2 + Tabla armnica 1

reproducir

>> Instrumento Virtual 3 Parmetros del ejemplo 3 + Tabla armnica 1

reproducir

>> Instrumento Virtual 4 Parmetros del ejemplo 1 + Tabla armnica 2

reproducir

ANLISIS

DE LOS

RESULTADOS

Determinacin de la latencia

La latencia entre la transmisin de las seales de control y la produccin del sonido correspondiente es en promedio de 125 ms con un desvo estndar de 43 ms

ANLISIS

DE LOS

RESULTADOS

Caractersticas principales
>> Cantidad de notas Registro Polifona >> Seal sintetizada Frec. de muestreo Resolucin Riqueza espectral Canales de audio Latencia media >> Parmetros fsicos Cuerdas y martillos Tabla armnica 60 notas 8 notas

44,1 kHz 16 bps 80 parciales/nota 2 (stereo) 125 ms

15 parms. de 32bit 512 muestras de 32bit

CONCLUSIONES

>> Conclusiones

CONCLUSIONES Posibles extensiones

>> Comunicacin MIDI integrada Las seales de control ingresaran directamente a travs de una placa que resolviera el protocolo MIDI La modalidad de edicin cumplira una funcin complementaria
Se podra acondicionar la seal y as obtener mayor calidad acstica Varios modos de propagacin, efectos no lineales, mecanismo de excitacin ms complejo, etc.

>> Funcionalidad de edicin

>> Procesamiento de la seal >> Extensin del modelo fsico

CONCLUSIONES Comentarios finales

>> El prototipo ha cubierto de forma aceptable los objetivos iniciales del proyecto. >> Todas las extensiones sugeridas son factibles y no requieren cambios esenciales en las estructuras de hardware y software

AGRADECIMIENTOS Agradecimientos
Queremos agradecer especialmente al director Federico Miyara, por su gran dedicacin y verdadero inters en el proyecto, y a la asesora Silvina Ferradal por su buena voluntad y sus valiosas sugerencias. Damos gracias tambin a nuestros familiares y amigos por su constante apoyo y compaa. Por ltimo agradecemos a todos aquellos que hicieron posible este evento.

REFERENCIAS
Referencias
[1] V. Vlimki , T. Takala, Virtual musical instruments natural sound using physical models, (1995) [2] M. Karjalainen, T. Mki-Patola, Physics-based modeling of musical instruments for interactive virtual reality, (2004) [3] J. O. Smith, A basic introduction to digital waveguide synthesis (for the technically inclined), (2005) [4] J. O. Smith, Physical modeling synthesis update, (1996) [5] N. Castagne, C. Cadoz, 10 criteria for evaluating physical modelling schemes for music creation, (2003) [6] R. Rabenstein, L. Trautmann, Digital sound synthesis of string instruments with the functional transformation method (2002) [7] R. Rabenstein, L. Trautmann, Stable systems for nonlinear discrete sound synthesis with the functional transformation method, (2002) [8] S. Petrausch, R. Rabenstein, Sound synthesis by physical modeling using the functional transformation method: efficient implementations with polyphasefilterbanks, (2003) [9] Applied Acoustic Systems, Tech talk: Physical modeling, (2006) [10] T. Akylas, C. Mei, Wave propagation, (2004) [11] V. Vlimki, T. Tolonen, M. Karjalainen, Signaldependent nonlinearities for physical models using time-varying fractional delay filters, (1998) [12] J. J. Burred Sendino, La acstica del piano, (1999) [13] B. Bank, L. Sujbert, A piano model including longitudinal string vibrations, (2004) [14] D. Howard, S. Rimell, CYMATIC: A tactile controlled physical modelling instrument, (2003) [15] V. Vlimki, T. Tolonen, M. Karjalainen, Pluckedstring synthesis algorithms with tension modulation nonlinearity, (1999) [16] B. Bank, Physics-Based Sound Synthesis of the Piano, (2000) [17] M. Hirschkorn, S. Birkett, J. McPhee, Kinematic Model of a piano action mechanism, (2002) [18] M. Hirschkorn, Dynamic model of a piano action mechanism, (2004) [19] F. Avanzini, D. Rocchesso, Modeling collision sounds: non-linear contact force, (2001) [20] A. Stulov, A simple grand piano hammer felt model, (1995) [21] A. Stulov, Two nonlinear hysteretic models of piano hammer, (2001) [22] F. Avanzini, B. Bank, G. Borin, G. De Poli, F. Fontana, D. Rocchesso, Musical instrument modeling: the case of the piano, (2001) [23] B. Bank, G. De Poli, L. Subjert, A multi-rate approach to instrument body modeling for real-time syntesis applications, (2002)

REFERENCIAS
Referencias
[24] H. Lehtonen, Analysis and parametric synthesis of the piano sound, (2005) [25] Applied Acoustics Systems, String Studio VS-1 String Modeling Synthesizer, (2006) [26] C. Bruyns, Sound synthesis and instrument design for computer music, (2005) [27] Microsoft MSDN Library, Musical Instrument Digital Interface (MIDI), (2005) [28] G. Frantz, R. Simar, Comparing fixed- and floatingpoint DSPs, (2004) [29] FutureTech Research, MIPS/MFLOPS and CPU performance, (2006) [30] Texas Instruments Inc., TMS320C6713, TMS320C6713B floating-point digital signal processors, (2005) [31] Spectrum Digital Inc., TMS320C6713 DSK technical reference, (2003) [32] R. Chassaing, Digital signal processing and applications with the C6713 and C6416 DSK, Wiley Interscience, (2005) [33] Texas Instruments Inc., TMS320C621x/C671x DSP Two-level internal memory reference guide, (2004) [34] Texas Instruments Inc., TMS320C6000 DSP cache users guide, (2003) [35] Texas Instruments Inc., TLV320AIC23 Stereo audio CODEC data manual, (2001) [36] N. Patavalis, A brief introduction to JTAG, (2001) [37] Texas Instruments Inc., TMS320 DSP/BIOS Users Guide, (2002) [38] D. Keil, Real-Time data exchange, (1998) [39] F. Miyara, Acstica y Sistemas de Sonido 3 edicin, UNR EDITORA, (2003) [40] S. Wilson, WAVE PCM soundfile format, (2003) [41] Roland Corporation, Roland RD-100 - MIDI Implementation, (1999) [42] Texas Instruments Inc., DSP/BIOS driver developer's guide, (2002) [43] Texas Instruments Inc., TMS320C67x FastRTS library programmers reference, (2002) [44] Texas Instruments Inc., Code Composer Studio v2 help - Software pipelining, (2002) [45] Texas Instruments Inc., Code Composer Studio v2 help - TMS320C67x pipeline overview, (2002) [46] Texas Instruments Inc., TMS320C6000 CPU and instruction set reference guide, (2002) [47] Corelis Inc., Boundary-Scan Tutorial, (2006) [48] L. Trautmann, R. Rabenstein, Digital Sound Synthesis by Physical Modeling Using the Functional Transformation Method, Kluwer Academic / Plenum Publishers, (2003) [49] R. Welti, Introduccin a la Fsica de las Ondas, UNR EDITORA, (1996)