Por Leandro Garber-Especialista en Explotación de Datos y Descubrimiento del Conocimiento-UBA

No es novedad que históricamente la música ha mirado hacia las nuevas tecnologías con buenos ojos: el siglo XX nos ha traído desde técnicas para registrar y reproducir audio hasta novedosos efectos e instrumentos electrónicos y digitales como el sintetizador, el sampler o una multitud de cajas y pedales que le permiten a los músicos modificar el sonido de incontables maneras. Todo tipo de artistas han experimentado con estos aparatos y se los han apropiado como parte de su estilo, como su manera de hacer música: está claro que el heavy metal no pudo haber existido sin la distorsión o la música electrónica de pista sin un secuenciador.

Es por esto que cabe preguntarse, ¿cómo se pueden utilizar las nuevas técnicas de procesamiento de datos para innovar en el campo de la música y el arte sonoro? Existen ya algunos grupos de investigadores que se hacen esta pregunta, notablemente el proyecto Magenta de Google, algunos sectores de la comunidad ISMIR y conferencias como NIME. Nadie puede dar una respuesta total ya que es un campo que está en desarrollo pero lo que sigue es un posible rumbo.

Es habitual para algunos músicos tener grandes bancos de sonido almacenados en su computadora, esto es, muchos archivos de audio que contienen distintos golpes de batería, notas o acordes de distintos instrumentos, voces de cantantes, ruidos variados, ambientes, o cualquier cosa que podamos imaginar (y grabar). Si bien esto es una práctica que ya lleva añares, no existe una herramienta estándar para poder explorar estos audios de una manera práctica y más importante aún, de ver las relaciones que hay entre ellos, la estructura latente que esconden y poder explotarla creativamente. Así, aunque un músico sea muy ordenado con cada archivo con un nombre descriptivo y categorizado prolijamente en distintas carpetas no tiene manera de saber qué sonidos son similares y pueden funcionar bien juntos más allá de su propia experiencia condicionada por su bagaje cultural.

Lo que buscamos entonces es algún método para conseguir lo que nos gusta llamar una cartografía sonora: representaremos cada sonido como un punto en un espacio bidimensional donde puntos cercanos corresponden a sonidos similares y los alejados a dispares. Se ha escrito mucho sobre la (terrible y hermosa) subjetividad en la percepción de la música y el sonido, el bajo grado de acuerdo entre individuos sobre «qué sonido es más o menos similar a otro» en experimentos lo comprueban, lo que sigue es sólo una posible subjetividad de la máquina condicionada por nuestro input.

En este primer acercamiento utilizaremos como nuestro conjunto de datos 2128 archivos de sonido provenientes de distintas fuentes; se trata de sonidos grabados de máquinas de ritmos clásicas muy utilizadas en la década del 80 hasta nuestros días. Elegimos este conjunto porque se trata de sonidos de corta duración y porque los resultados del proceso son más fáciles de interpretar que si fueran muestras sonoras elegidas al azar de un banco cualquiera. Inspeccionemos algunos:

Se trata de espectrogramas de bombos, redoblantes y platillos de tres máquinas de ritmos distintas. Esta visualización da cuenta de cómo el espectro sonoro se desarrolla en el tiempo, el eje x es el tiempo en segundos y el eje y es la frecuencia en escala logarítmica. Si bien cada sonido es distinto podemos notar que los bombos tienen mayor amplitud en las frecuencias cercanas a 64hz, los redoblantes alrededor de los 256hz y los platillos tienen un desarrollo más complejo pero se situan sobre los 4096hz. Es esperable utilizando estos datos que nuestro sistema logre generar un espacio de aprendizaje que muestre alta similitud entre estas categorías.

La minería de datos puede darnos una mano para poder generar el mapa deseado utilizando técnicas de reducción de dimensionalidad; no es descabellado interpretar un sonido como un punto en un espacio de muy alta dimensión, esto es, en vez de 1, 2 o 3 dimensiones que son las que podemos acceder e imaginar los humanos, en 45100 dimensiones, o sea, inimaginable e imposible de interpretar. Sin embargo estableciendo una medida de disimilitud es posible mediante métodos iterativos representar estos datos 45100-dimensionales en simplemente 2.

El proceso utilizado para para obtener nuestro mapa es el siguiente:

Usamos dos etapas de reducción de dimensionalidad, primero componentes principales (PCA) y luego escalamiento multidimensional (MDS). Entre estas también usaremos la técnica de agrupamiento jerárquico para obtener grupos de sonidos similares, por ejemplo «todos los bombos». El resultado final se puede ver de esta manera:

Obtenemos una nube de puntos donde cada punto corresponde a cada sonido procesado. El software permite cliquear y escuchar cada punto así como saber a qué archivo corresponde. En esta nube, los puntos cercanos corresponden a sonidos timbricamente similares y los alejados a sonidos distintos. En este caso, estamos utilizando sonidos de máquinas de ritmos clásicas de la década del 80 y al escuchar podemos inferir que el algoritmo ubicó a la izquierda (en azul) todos los platillos, esto es, sonidos con frecuencias predominantemente agudas y abajo a la derecha (naranja) todos los bombos, sonidos con frecuencias predominantemente graves. Entre un grupo y el otro podremos encontrar redoblantes, congas, etc.

Además de un plan exploratorio, en nuestro software estamos desarrollando modos creativos de recorrer y escuchar el mapa con el fin de utilizarlo como instrumento musical, estos incluyen caminos aleatorios, definición de trayectorias en el espacio latente y utilizar medidas de similitud como ritmo.

Se puede ver una versión más avanzada en el siguiente video: