Förvandla din arga granne till en flöjt med Googles nya AI

Tone Transfer är ett nytt projekt från Googles forskningsteam Magenta som låter användaren omvandla vilket ljud som helst till antingen flöjt, saxofon, trumpet eller fiol.

För att åstadkomma detta använder sig Tone Transfer av maskininlärningsmodeller för att omvandla ljud till musikinstrument som används i en mängd olika stilar, från barock till jazz. Gör om ljudet av din hund som skäller till en flöjt. Bor du bredvid en arg granne som tycker du spelar för högljutt på kvällarna? Gör om honom till en saxofon. Ja, möjligheterna är oändliga. Tone Transfer gör dessa omvandlingar möjliga genom en ny ML-teknik som kallas Differentiable Digital Signal Processing, eller DDSP. Google säger att moderna datorer gjort det enkelt att sampla högkvalitativa inspelningar av varje ton i ett instrument, men att det leder till miljontals inspelningar bara för ett enda instrument. Tone Transfer använder ML för att direkt lära sig tonen i ett musikinstrument. Tekniken kan extrahera förhållanden mellan tonhöjd, ton och volym från mycket små mängder data och bilda en högkvalitativ och uttrycksfull syntesmodell av utgångsinstrumentet. Modellen är också flexibel och kan styras av ingångar som tonhöjd och volym.

När jag läste om detta blev jag direkt inspirerad och det kanske är det som är det egentliga syftet med AI:n. Jag drog igång en inspelning med den inbyggda mikrofonen i min arbetsdator och nedan kan ni lyssna på resultatet. För att prova själva går ni in här: https://sites.research.google/tonetransfer