Reconocimiento y síntesis de voz (habla)

Ivan Meza

ivanvladimir@turing.iimas.unam.mx

La introducción

Contenido

• La Introducción
• La onda
• La voz
• La percepción de la voz
• El reconocimiento
• El aparato fonador
• La síntesis

Los objetivos

• Reconocimiento de la onda de voz a una trascripción ortográfica


• Síntesis de la trascripción ortográfica a la onda de voz

Por supuesto buscamos fidelidad

La onda

La atmósfera

Nos mantiene vivos

• Absorbe luz ultravioleta
• nos ayuda con la temperatura
• y contiene varios químicos de alta necesidad

Pero además trasmite al ...

Sonido

What Does Sound Look Like? de NPR on YouTube.

Sonido

Hasta ahora... perturbación

• ¿por qué tan difícil de grabar?

Velocidad del sonido

343.2 m/s

14.4 m/s (Humano más veloz)

a 20°C y nivel del mar

Distancia

Distancia

Distancia

¿Qué es el sonido?

El sonido es la onda

Pero no como la imaginamos

Sound waves in air en HyperPhysics.

La onda longitudinal

Creating a Longitudinal Wave de Animations for Physics and Astronomy on YouTube.

Onda ideal

Propiedades

• Repetitiva
• Longitud (Dis)
• Frecuencia
• Periodo (Tiempo)
• Amplitud

Longitud

• Distancia entre repeticiones

Pero...

• Una onda viaja a $343.2$ m/s
• Si sé la longitud de la onda... puedo saber...
• El número de ondas por segundo

Frecuencia

• Repeticiones por segundo

Periodo

• Tiempo entre repeticiones

Amplitud

• Distancia entre cresta o valle al centro

Más normales

Más normales

No todo es onda

Las podemos superponer

¿Y el proceso en reversa?

La licuadora inversa

Transformada de Fourier

Pero sigue en el mundo ideal

La voz

La voz humana

• Producción: de 200hz a 9,000hz
• Percepción: de 20hz a 20,000hz

Algunas convenciones

1,000 se convierte a 1k

• Producción: de 200hz a 9k hz
• Percepción: de 20hz a 20k hz

Muestreo

¿A qué frecuencia guardamos la voz?

Amplitud

• La energía
• Dos medidas: Pascal y Decibles

Energía vs Poder

• Energía: Joules
• Poder-Intensidad: Watts

Decibeles

• El oído, increíblemente sensible
• Miden de forma logarítmica

• Una medida relativa

Decibeles

Percepción de la voz

Percepción del sonido

• Entonación
• Harmónicos
• Volumen

Efecto McGurk de pere estupinya on YouTube.

Jugando

Invirtiendo

En reversa

Frecuencias > 500

Frecuencias > 1k

Frecuencias > 2k

Frecuencias > 4k

Frecuencias > 6k

Frecuencias < 500

Reconocimiento de voz

Caja negra

Historia

• 1952 Bell Labs Audrey (digitos)
• 1962 IBM Shoebox (16 palabras)
• Leonard Baum inventa los HMM
• 1970-76 DARPA "speech understanding research"
• CMU Harpy
• 1980-1995 avances parciales, modelo de predicción, primeras compañías
• 1996 VoiceBroker usa Nuance
• 1997 Lanzamiento de Dragón
• 1998 Kurzweil system a Microsoft

Historia (2)

• 2000-2007 muy tranquilo
• 2007 Siri
• 2008 Google now
• 2009 Redes neuronales

Evaluación

Word error rate

hola mundo

• hola mundo cruel (insersion +1)
• mundo (borrado +1)
• hola edmundo (sustitución +2)

$\frac{4}{6}= 0.66%$

Historia (3)

Historia (4)

Caja negra

Sistema

Modelo acústico

• Cómo suenan los sonidos básicos del lenguaje
• De señal a fonema

Vocales

Consonantes

Ventanas y características

• Cómo suenan los sonidos básicos del lenguaje

Corpus orales tecnológicos

En inglés

Diccionario

De fonemas a palabra

• o l a $\rightarrow$ hola

Modelo del lenguaje

De palabras a oraciones

• $P(arbol|el)$ vs $P(arbol|la)$
• $P(se|arbol)$ vs $P(si|arból)$
• $P(mueve|se)$ vs $P(puede|si)$

$P(el\ arbol\ se\ mueve)$

$P(la\ arbol\ si\ puede)$

En resumen

Conocimiento fonético

Conocimiento lingüístico

Aparato fonador

Invoucrado

• Aparato digestivo
• Aparato respiratorio
• Aparato fonador

Aparato digestivo

Aparato respiratorio

La faringe

Respiration de Sandra Cork en YouTube.

La laringe

El sistema nervioso

Regresando al aparato fonador

• Fuente de poder (Pulmones)
• El oscilador (Cuerdas vocales)
• El resonador (El tracto vocal)

Cuerdas vocales

500fps, HD motion analysis of the vocal cords with SweetVision High Speed systems de Adam en Vimeo.

Variaciones

• 1.25cm a 1.75cm en mujeres
• 1.75cm a 2.50cm en hombres

El resonador

• Resalta ciertas frecuencias
• Se usa en la mayoría de los instrumentos
• En instrumentos provee harmónicos

El sistema

Trompeta

Señales

Listerri, J.,Las características acústicas de los sonidos del habla

Espectro

Sumando

Listerri, J.,Las características acústicas de los sonidos del habla

Señal de Glotis

Listerri, J.,Las características acústicas de los sonidos del habla

Señal después tracto vocal

Listerri, J.,Las características acústicas de los sonidos del habla

La i

Listerri, J.,Las características acústicas de los sonidos del habla

La u

Listerri, J.,Las características acústicas de los sonidos del habla

demostracion de la fonacion humana.AVI de Hugo Dominguez Luthier en YouTube.

Frecuencia fundamental

• 165Hz a 255Hz mujeres
• 85Hz a 155Hz hombres
• 250Hz a 300Hz niños

Falsete y silbido

La flauta mágica

Síntesis de voz

VOCODER

The Voder - Homer Dudley (Bell Labs) 1939 de MonoThyratron en YouTube.

Técnicas

• Concatenación
• Síntesis de formantes
• Síntesis de artículación

Concatenación

• Concatenación
• Síntesis de formantes
• Síntesis de artículación

Chatbot

Español

Hola a todos es un placer estar aquí con ustedes

Hola a todos es un placer estar aquí con ustedes

Otros ejemplos

Articulatorio

VocalTrac Lab

Talking Robot Mouth Mimics Human Speech #DigInfo de DigInfo en YouTube.

Gracias