生成式藝術和演算法創作01-概述
自從今年把興趣領域 ofollow,noindex">從人機互動擴充套件到人機協同創作 之後，接觸到越來越多「藝術x技術」的新鮮知識、有趣專案和精彩作品。一個星期有那麼 7 天心情如下圖：
這個系列， 00 將會（希望是深入地）整理和介紹 Generative Art 和 Computational Creativity 的一些研究領域、概念和作品。當然，我們不滿足於做手殘黨。為了避免出現只是看看圖驚歎兩句就沒有然後的純消費行為，這個系列也會探討相關的技術、演算法，以及實現的思路。
需求井噴下的工具進化
為什麼關注生成式藝術和演算法創作？
除了個人的職業背景和癖好，還有對聲色犬馬的生活，哦不，做一個聲色全碼的手藝人的嚮往。
創意和娛樂產業發展到今天，已經是一個巨大的造夢引擎。但消費市場對極致體驗和製造夢境能力的追求並不會停歇，這迫使技術和計算能力以前所未有的速度變化和發展。不但場景越來越巨集大、夢幻、沉浸，對實時性、多角色協同、虛實融合的訴求也愈發強烈。這其中有大量的創作工作要做。
比如，在 Minecraft 中，每週有超過 1000 萬玩家，會在遊戲裡待上 20 小時。這樣算下來，需要多少作曲家才能為每一位玩家提供個性化的音樂呢？
Non-linear （非線性敘事）媒體日漸流行，自動生成豐富而個性化的內容流成為強需求，或者至少需要有方法能夠幫助創意工作者更有效地完成創意任務。但是傳統的工具例如視訊剪輯、音訊效果製作、影象合成等等，工具本身並不能提供更多的幫助。不論創意有多明確，一切都需要從頭開始。
為什麼機器不能以更動態、靈活、人性的方式與我們互動呢？比如說，我已經設計過 100 張海報，這次的設計跟其中的 3 張風格相似，但是內容會有變化。創作工具能不能自動生成幾個草稿或模板，讓我不必重零開始呢？
打造這樣的工具或者工作流程，需要研究人類的創造過程，讓機器在一定程度上自主完成創造過程，才能更好地輔助我們創造。
應用了計算機演算法的生成式藝術處於藝術和創造的前沿，已經湧現出許多藝術和文化作品。
生成式藝術
生成式藝術（Generative art）是指部分或全部使用自動創作系統（autonomous system）創造的藝術。
Generative art refers to any art practice where the artist uses a system , such as a set of natural language rules, a computer program, a machine, or other procedural invention, which is set into motion with some degree of autonomy contributing to or resulting in a completed work of art.
—— Philip Galanter
可以用來輔助生成藝術作品的系統有很多，通常是一個非人類的獨立系統（不一定是計算機），只要它可以獨立確定一件藝術品的特徵。生成式藝術幾乎跟藝術本身一樣古老，使用幾何對稱、樣式、重複來生成圖案的做法，已經存在幾千年了。
藝術家需要設計一個自主運作的機制來創作作品，這個機制通常包含一組規則，例如自然/音樂/程式語言、二進位制程式碼、資料對映、生物指令等，由它們生成自動化處理過程，最終產生藝術作品。
生成式藝術可以為藝術家提供減少主觀創造意向的手段。在不同的條件、引數、設定下，執行過程不同，結果會呈現出一定特徵，但常常是不可預測的。
隨著互動需求的增加、計算機計算能力提高，越來越多的生成式藝術作品是實時生成的，而且系統會收集反饋或產生即時的新輸入，讓結果持續更新和變化。
需要注意的是， 生成式藝術並不是藝術流派、藝術運動或某種意識形態，它只是一種創造性的方法 ，與作品的意圖和價值取向無關。
演算法創作
Computational Creativity（我翻譯為演算法創作），是一個學術研究領域， 研究的物件主要是創意活動的計算化/自動化過程。 它並不侷限於藝術，還包含各種創造性活動，如繪畫、音樂、文學、表演等等。
演算法創作聽起來跟人工智慧似乎很像，都強調演算法、計算、自動的處理過程。它們是一樣的嗎？
讓我們先來看看 Sternberg 在 Handbook of Creativity 裡提出的創造性最重要的 3 類智慧：
- 分析智慧 Analytical Intelligence：分析、評論、判斷、比較、評估
- 實用智慧 Practical Intelligence：使用、實施
- 創作智慧 Synthetic/creative Intelligence：想象、創造、發明、發現、預測
再來回顧一下人工智慧先驅司馬賀給出的人工智慧的定義：
Artificial intelligence is the science of having machines solve problems that do require intelligence when solved by human. —— Herbert Simon (1960)
此處的重點是：solve problems。
AI 擅長 rational problem solving，也就是說，擅長處理那些解決方案可能很複雜，但是容易理解、目標明確或定義良好（well defined）的問題。
但是，機器可以擅長創作嗎？
跟理性問題相比，創造性活動一般沒有「最佳」結果或答案。不存在最好的音樂、繪畫、詩歌、故事、笑話、菜譜、遊戲……這一類活動更加需要 Sternberg 所說的第三類 synthetic 智慧。於是演算法創作漸漸從 AI 研究領域中分離出來，因為「最優」（optimality）的概念對創作行為來說是定義不良的（ill-defined）。
Creative System 的分類
從通用性來分，創意系統可分為特定的 (基於領域/任務/審美的) 和通用的。
從自動化程度來分，可分為響應式的和全自動的。
從互動性來分，可分為低互動性的（只響應輸入，比如一般的人機互動介面）和高互動性的（可以相互影響的代理行為）。
從系統的知識來源分，可分為硬編碼的、輸入的和學習式的（比如從語料學習）。
從系統的行為模式來分，可分為：fixed - periodic - complex - chaotic。
從有效複雜性（effective complexity）來分，可以分為：
image
從架構和演算法來分，可以分為：
-
generative
-
generate and evaluate
-
generative with reflexive feedback
- interactive and adaptive
演算法創作的領域實踐
生成繪畫
哈羅德·科恩（Harold Cohen）的 AARON 系統是一個從 1973 年開始的長期專案，他將軟體人工智慧與機器人繪畫裝置相結合，讓機器自動作畫，可以算得上是 AI 畫家的鼻祖了。
image
自動作畫的機器人被明名為 AARON。AARON 是一臺很原始的繪畫機器，但它可以在沒有照片或其他人類輸入參考的情況下繪製人物形象的靜物和肖像。
在專注水彩作畫的 40 多年裡，AARON 的繪畫能力逐年提高。80 年代學會了將物體或人物放置在三維空間中，從 1990 年起可以用彩色繪畫。它的部分作品已被泰特等知名美術館和一些私人收藏家收藏。
Final Approach 是 2013 年 AARON 最新的繪畫作品之一：
image
時間快進到 2018 年，已經連續舉辦 3 年的 Robot Art Prize 已落下帷幕（ARRON 也參加了比賽 ），第一名由名叫 cloudpainter 的機器人畫家獲得，下面是它的畫作：
我認為，在短期內，機器人將越來越多地用於數字藝術的最終生產，特別是那些有很多細節或重複元素的機器人。
創立 RobotArt 的藝術家和工程師 Andrew Conru 表示。
但他不認為機器人或演算法藝術家會取代更有創造性的人類。他把機器創造的藝術品比作照相機的創造 。 攝影成為一種全新的藝術分支，捕捉不同型別的影象和作品。
Conru 認為機器人和人類藝術品將繼續存在。每個人都會為藝術領域帶來不同的技能和方法。正如他的網站所說：
We all win when we see something beautiful.
生成音樂
人們希望藉助自然的力量更自動地創作音樂，這種想法實際上早已出現。從某種程度上說，第一首自動生成音樂來自於大自然：中國的風鈴、古希臘的風絃琴、日本的水琴窟等。
莫扎特的 Musikalisches Würfelspiel（Musical Dice Game，1757）被認為是早期的基於隨機性的生成系統。
image
在這部作品中，他創作了 176 小節音樂，然後將小節號排列為兩個特殊的矩陣圖，通過演奏家擲般子的方式來決定音樂序列的選擇。這個機制提供了有序和無序的平衡。可以說，將演算法應用於音樂創作可能和音樂本身一樣古老。
Iannis Xenakis 在他 1958 年的專輯 Analogique 中，使用了馬爾可夫鏈來作曲。他在著作 Formalized Music: Thought and Mathematics in Composition 裡詳細描述了使用馬爾可夫模型的演算法。
image
第三章“馬爾可夫的隨機音樂：應用”（節選） 音樂生成3_騰訊視訊
John Cage，Farmers Manual 和 Brian Eno 等現代（電子）音樂先驅都在早期作品中開始使用生成系統。
Continuator 是 Francois Pache 在索尼電腦科學實驗室 (Sony Computer Science Laoratories) 時主導的專案。
The Continuator is a usable musical instrument combining techniques from interactive and automatic learning systems.
image
他最近幾年則投入到 Flow Machines 專案中。
image
2016 年，格萊美獲獎製作人 Alex Da Kid 與 IBM Watson 搭檔合作一起創作歌曲。Watson 將大量的非結構化資料轉化為情感洞察，創造出有史以來一種全新的音樂——可以“聆聽”受眾的音樂。
Alex Da Kid 攜手IBM Watson創作故事揭祕_騰訊視訊
Watson 分析了近五年的文化和音樂資料，探索全新的情感洞察。
為了解最普遍最主流的話題及主題，自然語言分析 API Watson Alchemy Language 分析了過去 5 年的各類文字，包括諾貝爾和平獎演講內容，《紐約時報》頭版，美國最高法院的裁定，洛杉磯 Getty 博物館的報告，維基百科文章，熱門電影梗概等等。
掌握這些文化主題後，情緒分析 API Watson Tone Analyzer 分析相關的社交媒體內容瞭解受眾對主題的想法和感受。它還分析了過去 5 年 Billboard Hot 100 歌曲中超過 26000 首歌的歌詞。Watson Beat 檢測出來熱門歌曲的作曲過程中，從逐年來不同的節奏、音高、樂器、流派中找出關係模型，幫助 Alex 發現不同聲音所反映出的不同情感。
同時, 顏色分析 API Cognitive Color Design Tool 對專輯封面、影象、色彩的分析也啟發了 Alex 專輯封面的製作。
image
新的創作時代已經到來。
新技術激發了前所未有的創造力，新的創作方式將賦予創作者們更大的能量。
00 的生成式藝術和演算法創作系列，將帶你一起探索（看起來很 Geek 很頭疼的）知識和專案，其中很多都是藝術創作領域中前沿和硬核的話題，例如混沌和分型理論（Chaotic & Fractal）、形狀語法（Shape grammar）、規則系統（Rule-based system）、馬爾可夫模型（Markov Model）、智慧代理（Intelligent Agents）、多代理系統（Multi-agent system）、元胞自動機（Cellular Automaton）等。
道阻且長，行則將至。
感謝你的陪伴。
Ref
- Sternberg, R. J., & O'HARA, L. A. (1999). 13 Creativity and Intelligence. Handbook of creativity , 251.
- Philip Galanter. What is Generative Art? Complexity theory as a context for art theory, 2003 International Conference on Generative Art
- Triarchic theory of intelligence - Wikiwand
- Harold Cohen Home Page
- cloudpainter - an artificially intelligent painting robot
- Qbits for Cubists: Robots Made These Incredible Works of Fine Art | Freedom and Safety
- Musikalisches Würfelspiel - Wikiwand
- François Pachet - Director of Spotify Creator Technology Research Lab
- Flow Machines: AI music-making
- Neural Nets for Generating Music – Artists and Machine Intelligence – Medium
- IBM Watson Music - 中國
- 機器人都能畫出《蒙娜麗莎的微笑》了，那還要畫家幹什麼？
- 人工智慧是怎麼創作音樂的？