Es un modelo de análisis/síntesis para procesamiento espectral orientado a aplicaciones musicales y de audio. Se puede ver como una generalización de la STFT (transformada de tiempo corto) y los modelos sinusoidales. Básicamente añade flexibilidad a la STFT manteniendo buena fidelidad de sonido y una representación eficiente.
Este modelo también es conocido como SMS ( Spectral Modeling Synthesis) y como HILN en el contexto de MPEG4.
Básicamente esta modelado como la suma de un conjunto de sinusoides (los "sobretonos" estables armónicos o no, las componentes determinísticas del sonido) más el residuo de ruido (modelado como un proceso estocástico) como dos componentes separadas:
donde y
son la amplitud y fase instantaneas de la
sinusoide respectivamente, y
es la componente de ruido en el tiempo
.
La fase instantanea de la ecuación es:
El primer paso del análisis detecta los sobretonos presentes en el espectro y los representa con sinusoides que varian con el tiempo . Luego se le resta al sonido original las componentes sinusoidales para obtener el "residuo" (ver el diagrama de bloques).
La señal residual es modelada como un proceso estocástico y se describe como ruido blanco filtrado:
donde es
ruido blanco y
es la
respuesta al impulso de un filtro que varia con el tiempo evaluada en el instante
.
El residuo comprende la energía debida a vibraciones no estacionarias y a cualquier otra componente energética de naturaleza no sinusoidal.
Algunas áreas donde este modelo se puede aplicar:
- análisis
- compresión de sonido
- separación de fuentes de sonido
- acústica musical
- percepción musical
- Xavier Serra: " Musical Sound Modeling With Sinusoids Plus Noise".
- Tesis de Xavier Amatriain: " Sinusoidal plus Residual Model"
- Libro DAFX: Chapter 10 - Spectral Processing.
- CLAM SMSTools: Introduction tutorial, more details.