Korku bitti ve eğlence başlayabilir. Bu günlerde yapay zeka içeren yaratıcı çabaları bu şekilde düşünmeye meyilliyim. Sanırım yapay zekanın insan sanatını gereksiz kıldığı abartılı iddiaları geride bıraktık ve artık bu teknolojinin sağladığı tüm olanaklardan yararlanabiliyoruz. Bu ışıkta, iki insan ve yapay zeka arasında üç yönlü bir işbirliğiyle hazırlanan yeni bir albüm olan Shadow Planet, tam olarak ne tür bir eğlencenin yaşanabileceğini gösteriyor.
Shadow Planet, müzisyen yazar Robin Sloan’ın eseri. Jesse Solomon Clark ve OpenAI tarafından yapılan bir makine öğrenimi müzik programı olan Jukebox. Sloan ve Clark arasında bir grup (The Cotton Modules adlı) kurma konusunda manşetsiz bir Instagram sohbetinden sonra, ikisi müzik kasetlerini değiş tokuş etmeye başladı. Tecrübeli bir besteci olan Clark, Sloan’a şarkıların tohumlarını gönderdi, o da onları 1,2 milyon şarkılık devasa bir veri seti üzerinde eğitilen ve duyduğu her sesi otomatik olarak tamamlamaya çalışan Jukebox’a besledi. Sloan tarafından yönetilen AI programı, daha sonra Sloan’ın daha da geliştirmesi için kendisine geri gönderdiği Clark’ın fikirleri üzerine inşa edildi.
OpenAI’nin Jukebox modeli, kendi müziğini üretmek için 1,2 milyon şarkı üzerinde eğitildi
Bunun sonucu üç yönlü takas, türküler ve elektronik kancalardan oluşan küçük parçaların bulanık bir ortam döngüleri ve parçalanan örnekler bataklığından yosun kaplı kütükler gibi ortaya çıktığı atmosferik bir albüm olan Shadow Planet’tir.
Sloan’ın bana e-postayla verdiği bir röportajda açıkladığı gibi, Shadow Planet’in sesi birçok yönden Jukebox’ın sadece 44.1kHz’de mono ses çıkışı veren sınırlamalarının bir sonucudur. “Bu albümü yaparken, bu tür bir yapay zeka modelinin kesinlikle çalmayı öğrenmeniz gereken bir “enstrüman” olduğunu öğrendim” dedi. “Temelde bir tuba! Çok… garip… ve güçlü bir… tuba…”
Makineler ve insanlar birbirlerinin programlamasındaki sınırlamalara ve avantajlara yanıt verdiğinde, yapay zeka sanatını bu kadar ilginç kılan işte bu tür ortaya çıkan yaratıcılıktır. Klavsenin piyanoya evriminin, örneğin müzik tarzlarını nasıl etkilediğini ve piyanonun (klavsedin tek sabit dinamiği yerine) yüksek sesle veya yumuşak bir şekilde çalabilme yeteneğinin yeni müzik türleri yarattığını düşünün. Bence, yaratıcı çıktıyı şekillendiren bir dizi AI modelinde şu anda olan şey bu.
Aşağıda Sloan ile yaptığım röportajı okuyabilir ve makine öğrenimi ile çalışmanın ona neden “devasa bir labirentte dolaşmak gibi” geldiğini öğrenebilirsiniz. Shadow Planet’i Spotify, Apple Music, iTunes, Bandcamp veya Sloan ve Clark’ın web sitesinde dinleyebilirsiniz.
Her şeyden önce, lütfen bana biraz Jesse’nin bu işbirliğini başlatmak için size hangi materyalleri gönderdiğini söyleyin? Orijinal şarkılar mıydı?
Evet! Jesse, reklamlar, filmler ve fiziksel kurulumlar için bir bestecidir – Seattle’daki Amazon’s Spheres’teki ziyaretçi merkezinde çalışan üretken film müziğini yazdı. Bu yüzden oturup bir sürü müzikal seçenek üretmeye alışkın. Ondan aldığım her kasette, bazıları sadece 20-30 saniye uzunluğunda, diğerleri birkaç dakika, hepsi farklı, hepsi biraz sessizlikle ayrılmış yaklaşık bir düzine küçük “şarkı” vardı. Bu yüzden ilk işim her zaman dinlemek, en çok neyi sevdiğime karar vermek ve bunu bilgisayara kopyalamaktı.
Ve sonra bunları bir yapay zeka sistemine beslediniz. O programdan biraz bahseder misin? Neydi ve nasıl çalışıyor?
OpenAI’nin 600K’sı İngilizce olmak üzere ~1.2 milyon şarkı üzerinde eğittikleri Jukebox modelini kullandım; ham ses örnekleri üzerinde çalışır. Bu benim için çekiciliğin büyük bir kısmı; MIDI merkezli yapay zeka sistemlerini de çok kibar buluyorum. Şebekeye çok saygı duyuyorlar! Örnek tabanlı sistemler (son romanımın sesli kitabı için müzik yapmak da dahil olmak üzere daha önce farklı enkarnasyonlarda kullandığım) daha gevrek ve daha değişken, bu yüzden onları daha çok seviyorum.
Örneklemek için Jukebox modelinde kendi özelleştirilmiş kodumu kullandım.
Örnekleme sürecinin kendisi etkileşimlidir. Her zaman Jesse’nin kasetlerinden birinden, modele bir yön, takip etmesi gereken bir hava verecek bir “tohum” ile başlardım. Özünde, modele şunu söylerdim: “X ve Y türlerinin bir karışımı olan bir şey istiyorum, A ve B sanatçıları gibi, ama aynı zamanda şu girişe uymalı: ”
Bazı durumlarda şarkı sözlerini de belirtirdim. Ardından, bir seferde yaklaşık sekiz ila 10 saniye giderdim, her adımda üç seçenek oluştururdum – bilgisayar beş ila 10 dakika boyunca çalkalanır, EĞLENCE – sonra onları oynatın, birini seçin ve devam edin… veya bazen üçünü de reddedin ve baştan başlamak. Sonunda 60-90 saniye uzunluğunda bir örneğim olacaktı ve bunu teybe yazdıracaktım.
Dürüst olmak gerekirse, son derece yavaş ve can sıkıcı bir süreçti, ancak sonuçlar o kadar ilginç ve çağrıştırıcıydı ki, her zaman devam etmek için motive oldum!
Ama bence bu da eğlencenin bir parçasıydı ve bu projeyi yapma sebebimdi: Ona gönderdiğim her örnek çözmesi gereken bir bilmeceydi.
Sonuçta, işi hem duyarlı hem de “nasıl?” bu örneği destekliyor muyum, parlamasına yardım ediyor muyum” – ve dönüştürücü – “bu ne tür bir şarkı olmalı?” Bu, tüm şarkılarda açıkça görülüyor, ancak açık bir örnek, Jesse’nin vokal performansını (tuhaf, salak ve harika) sergilemek ve desteklemek için büyük çaba sarf ettiği ve ardından bunu “eğitim”i çağrıştıran unsurlarla genişlettiği “Magnet Train”. chugging perküsyon vb.
Ve bu özel sese tam olarak nasıl odaklandınız? Sizi bu yöne iten ne oldu?
Ah, kesinlikle ortamın özüydü. Daha önce Jesse’ye modelin 44.1kHz’de ses üretebilmesine rağmen sadece mono olduğunu söyledim. Cevabı şuydu: “Harika! O zaman mono kaset kullanalım.” Ve bana geri gönderdiği müzik de monoydu. Son prodüksiyon geçişinde biraz stereo genişlik ekledi, böylece şarkılar tamamen merkezde kilitli kalmasın, ancak genel olarak oldukça “dar” bir albüm ve bu tamamen AI’nın sınırlaması nedeniyle, biz karar verdik kavga etmek yerine kucaklamak ve genişletmek.
Ve analojinin “AI ortak besteci” veya “otomatik AI sanatçısı” veya duymuş olabileceğiniz veya hayal edebileceğiniz başka herhangi bir benzetmeden çok daha faydalı ve üretken olduğuna inanmaya başladım. Temelde bir tuba! Çok… garip… ve güçlü… tuba…
Haha, doğru! Şarkı veya kitap yapmak için makine öğrenimi modellerini kullanan birkaç sanatçıyla konuştum ve onlar genellikle yapay zeka ile aralarındaki dinamik hakkında konuşuyorlar. örneğin onları belirli bir yöne itmek. Jukebox’ın size ne tür müzikler verebileceğini keşfederken size hiç böyle hissettirdi mi?
Bu soruyu seviyorum ve işte nedeni: Daha önce, öne çıkmalarına rağmen “her konuda eğitilmiş büyük [AI] modellere” karşı oldukça şüpheci/eleştireldim. . Bu, GPT-3, Jukebox, CLIP, VQGAN, vb. içeren bir sınıftır. Bu yaklaşımın güçlü sonuçlar ürettiği çok açıktır, ancak her zaman kendi veri kümeniz için sorumluluk almanın, kompozisyonunu bir veri kümesi olarak anlamanın daha yaratıcı bir şekilde ilginç olduğunu düşündüm. önemli yaratıcı karar vb. Ve bunun bir dereceye kadar hala doğru olduğunu düşünüyorum…
AMA!
“devasa bir labirentte veya ölü bir şehirde dolaşmak gibi geldi”
Deneyim Jukebox’ı kullanmak beni bu konuda gerçekten döndürdü.
Şimdi bile, bu kadar uzun süre kullanmış olmama rağmen, orada neyin beklediğini, neyin bulunabileceğini ve gerçekleştirilebileceğini bilmiyorum. Açıkçası, burada çok fazla RPG oynadığım gerçeğine ihanet ediyorum… ama gerçekten! İşte böyle bir duygu ve ÇOK eğlenceli.
Bunu akılda tutarak, Jesse ile bu albümü yapmak size yapay zekanın ve yaratıcılığın geleceği hakkında ne öğretti? Bu sistemlerin gelecekte ne yapacağını düşünüyorsunuz?
Yapay zeka teknikleri, elbette farklı türde sanatçılar için bir sürü farklı şey yapabilir, ancak bu özel kategoriyle ilgili olarak, yeni müzikler, yeni sesler üretebilen üretken bir model. Bunların yeni bir sentezleyici veya elektro gitar olma yolunda oldukları bana TAMAMEN açık görünüyor. Bence hikaye büyük ölçüde benzer olacak – araştırma projesinden yeniliğe (şu anda bulunduğumuz yer), yeni virtüözler için araçlara (bu noktaya gelmeyi düşünmek heyecan verici!) / her stüdyo.
.
