左為蔡健雅 2016 演唱會主視覺照／右為叁式運用 Kinect 科技於展覽上。
文化部「流行音樂跨界合作及商務模式產業創新計畫」補助案因為公布名單中，幾乎都是流行音樂圈的知名歌手，引發補助案到底應不應該補助商業團體的爭議，日前知名音樂人投書娛樂重擊：「音樂人知名度高是原罪？文化部補助案的另一個角度」引起業界很大的回響。
就案論案，電影、電視的單位補助金額更高更大，但因為補助的是公司，名單都是劇名，在還沒有開拍前沒有知名藝人成為焦點，引不起媒體報導的興趣。拍完結案後，或因為績效太差大家也不忍心再指責，成績好的功勞也不會落在補助案上，只會歸功到製作團隊，偏偏流行音樂的補助案，因為歌手過往的成績已經在列，立刻就可以引發來自網友的指責和媒體的追打，就公平性來說，這些歌手真的是非戰之罪、受盛名之累。本文不討論補助案本身的問題，事實上我們更樂見用獎勵投資來替代補助，但在文化部還沒有改變補助政策之前，明明大家都是商業團體，流行音樂卻單獨成為箭靶，變成爭議的中心其實非常不公平，娛樂重擊呼籲各界要檢討就該影視音三位一體通盤檢討，媒體的監督更不應該厚此薄彼。
本案獲得最高補助金額 830 萬元的《蔡健雅 2016 巡迴演唱會列穆尼亞 LEMURIA 台北場》 8/27（六） 即將在小巨蛋開唱，娛樂重擊特地走訪主辦單位與跨界合作的「叁式」，實地來了解跨界補助案的內容，也請關心娛樂產業發展的讀者耐心看完這篇訪問後，再來決定 Yes or No！
成立在五年多前的叁式，負責人曾煒傑是三名共同創辦人之一，今年才三十三歲，自我介紹自己的團隊：「我們是一個新媒體團隊，做的是用數位工具呈現新的體驗（digital experience），新媒體的定義過於流動所以我們很多時候會以互動設計來解釋，互動科技現在牽涉的領域實在太廣，只要是人與機器間的互動都是，而叁式特別專注在現場體驗，從事的領域包括表演藝術、空間展演、商業行銷活動以及這次的演唱會合作案。」
怎麼跟蔡健雅的演唱會接觸上？
叁式參與的《 Second Body》，是舞蹈結合 360 度全身投影。
因為演唱會的主辦單位「大地風」，在為節目內容尋找新的可能性， 看到叁式參與的《 Second Body》演出，覺得技術夠成熟，有在商業性大型演唱會一試的可能，主題也適合用新科技來呈現，剛好年初參加文化部對流行音樂產業界舉行的補助案說明會中，發現可以嘗試申請跨界合作的創新計畫補助。
大地風的負責人張文玲，是國內知名的演唱會導演，早期以天空藍工作室承製過伍佰、縱貫線、滾石三十、兄弟本色等大型巡迴演唱會，蔡健雅的這場演唱會算是她踏出單純接案製作，成為演唱會主辦單位的新作。有感於創作型歌手表演相對靜態，如何藉由新科技的力量提昇表演層次，才能夠和唱跳型歌手相對豐富的表演競爭，爭取行銷到其他地區巡演的能見度，事實上如果沒有這項補助，主辦單位坦言完全不可能有餘力引進叁式的技術，加上在小巨蛋舉行單場演唱會本身就是高風險的投資，幾乎要賣滿座才會有盈餘，國內真的能舉辦多場次分擔單場成本的歌手，大概五個手指頭就數完了。
2011 叁式個展 —-作品《草》Grass 就用了Kinect 感應技術
主辦單位主動爭取政府鼓勵跨界創新的補助機會，是產業合法的權益何罪之有？而且案子也不是全額補助，主辦單位必須相對投資超過 51% 以上的資金，經費也只能用在跨界科技上，其他製作、場租、人事和唱酬一毛錢也多不了，結果歌手因為高知名度的原罪，擋在主辦與跨界合作的夥伴公司前，成為媒體、輿論的砲灰，讓張文玲感到非常不捨，對歌手也充滿了歉意，因此更加重她這次跨界合作案絕不容許失敗的壓力。相對其他多場次更高規格投資的演唱會，基於商業機密或維持歌手的競爭優勢，通常不可能輕易釋出新的技術應用，對產業的整體提昇沒多大幫助，但補助案則規定技術與經驗必須釋出，透過研討會傳承分享給有興趣的其他業者。
什麼是「新媒體」？「新不新」是一個相對的觀念，Projection mapping（光雕）可能算是新媒體，但當浮空影像的技術出現時，投影本身就不新了，所以要能與時俱進的應用或組裝新科技才是真的「新」。叁式成立之初的新媒體有些什麼？各式的「sensor」（感應器）在這幾年間快速發展，如我們熟知 iPhone 上的多點觸控，電腦的運算越來越快，開發工具的門檻越來越低，軟體越來越多元功能也越強大，到現在大家討論的 big data、AI（人工智慧）等，五年前開始陸續將這些新的科技加以運用、組合，開啟了和表演藝術界的合作，一開始沒有想得很清楚科技能怎麼在不同領域有新的可能性，而投入久了，很多的可能性就在團隊的腦裡慢慢成形。
陳綺貞《移動的房間》其中一個互動科技房間是叁式承製的作品。
國內以「互動體驗」為技術核心的廠商，最為人熟知的就是展示設計，另一個補助爭議焦點陳綺貞《移動的房間》創作展，展出的五個房間裡，其中一個以互動投影表現歌手創作理念的房間，剛好也是叁式承製的作品，台灣相較於其他國家在這個領域，「市場有限」、「缺乏練功機會累積經驗」大概是最大的缺憾，「新媒體最重要的機會就是實驗」，沒有實驗就只能複製，產出安全而制式的作品。「新媒體」即便在歐美，也還是處在實驗性大於商業應用的初期，只是相對於我們，他們有更好的市場環境去鼓勵實驗創新。
台灣從事數位互動體驗的團隊，以博物館展演為主要業務到叁式這種跨領域、實驗性成分比較高的公司，大概不超過二十家，製作花博夢想館而廣為人知的「天工開物」規模最大。還有一類泛稱 OOH（out of home）的品牌行銷，還是常在華山、松菸廣場上看到的數位互動體驗活動，相關產業最高規模可以承製一個萬國博覽會級別中的國家場館，最小到單一廠商的個別促銷活動，端看動用的科技組合與資金規模的大小。
和安娜琪舞蹈劇場合作的《第七感官》在 youtube 累積了超過四十五萬的點閱
叁式成立初期，就有機會和台灣知名與機器手臂共舞的舞蹈家黃翊合作，參與他 2011 年的創作，雖然因為進入太晚合作深度有限，但也因此打開和其他表演藝術團體的合作機緣，半年後認識安娜琪舞蹈劇場的藝術總監暨編舞家謝杰樺，雙方展開長達五年的合作，總共完成了兩件比較完整的系列作品。第一套表演《第七感官》，謝杰樺用「有機」的概念要求每次的演出都能因應現場的情緒與氛圍產生不同的呈現，希望觀眾也能夠上台參與演出，基於這樣的理念於是設計了一個完全即時互動的舞台，靠偵測所有在表演範圍內人的動作，然後產生對應的影像。
作品在五年前因為形式的創新，在表演藝術圈小有名氣，也因為 Youtube 上演出影片的擴散效應，表演被國際看到接到不少演出邀請，但是這件作品遇到一個很大的問題，叁式因為參與每一場的巡演，人力和時間的耗費，讓一個初創公司運作得非常辛苦，加上表演藝術的演出規模與經費相當有限，即便是拿到文化部的補助也難以為繼，巡演期間很難再另接其他的新企劃，一個三人的草創團體，面對困境因而引發了第二個合作案的進化，做了新的調整，以改進前一個作品的缺失。
《 Second Body 》是雙方合作的第二個三年期計畫，概念是在人體上作 360 度的立體投影。這項技術目前仍有相當的困難度，在不規則的物體上進行投影本身就困難，加上接縫必須無隙，四台機器四個角度投影出來，相互接成一個完整的 360 度影像，銜接的部分最困難，不能被看出有接縫。 360 影片拍攝還可以靠後製作修片，即時互動投影是 real time，一秒三十個 frame（幀）圖像，每秒要做到三十次的接和，都必須仰賴程式的即時運算，而且投影的標的是一直在移動的舞者，更增加了困難度，相較非常知名 JLo（Jennifer Lopez） 在 2015 American Idol 的投影演出，技術上更困難。今年金曲獎紀曉君的演出，也是類似的技術，只是長裙和球體都是不動的，技術相對容易，表演的精采是在動畫製作的眩目，此外 360度即時動態投影還要加上 capture 的技術，運用 sensor 感應器即時捕捉舞者的動態動作，並建立舞者身體的 3D 點雲圖（point cloud）然後配合舞者完成演出。
第二十七屆金曲獎頒獎典禮表演：FROZENMOSA
《Second Body》進行到第三年，最重要的技術建置就是要可以配合巡演，不需要叁式再派人隨團，可以交接給表演團體操作，有完整的技術手冊，所有的系統都達到穩定， 有備案、設備也都可以替換，加入今年八月中旬開始的「科技藝術節」公演（註一），叁式也只是列席監看，所有現場執行都由劇團獨立完成，確實達成技術升級。這次蔡健雅的演唱會也希望援例，把這個標準模式建立起來，讓技術能跟著去巡迴演出，目前後續的巡演大約一個月一場，希望在這個過程中逐步完善，最後終能完全移交接給演唱會的執行單位。技術本身的挑戰其實還好，主要的困難在於 scale up，要對接更多的合作單位，因為演唱會的分工相對表演藝術要複雜太多，所以讓叁式感到更自豪，就算是和國外同業相比，這樣的表演規模與方式也算得上是創舉，。
跨界合作更大的收獲是知道怎麼跨領域和表演藝術工作者合作，怎麼把導演腦海中的概念和科技間取得平衡，這是跨界合作最大的困難，技術的使用有一定的限制，但導演的想像是天馬行空沒有極限的，怎麼相互折衝找到平衡點，如果是一般傳統的接案，只是照工序、照既定流程完成發包者的要求，但和藝術家的合作，體驗是「前所未有」的，打破了慣性的思維和產製的流程，體會到「無限自由」的創作精神，可以勇敢作更多冒險的嘗試。因為劇場的複雜度很高又要求精準，一兩個小時的連續演出，中間不容許任何失誤，但科技的本身有掌握的困難度，能經過劇場嚴苛的洗禮，就更清楚科技的應用如何在挑戰極限與追求完美間取得平衡。
和知名空間設計公司「光助大房」合作的 故宮「乾隆潮─新媒體藝術展」 NPM 《Qianlong C.H.A.O. New Media Art Exhibition》是叁式的里程碑之作
對於接受文化部跨界補助的看法，叁式最重要的精神應該是：「要讓之前不會發生的事情有機會發生，不該消失的東西被保留。」而這些事情的成功與失敗的經驗都應該有效的傳遞，而另外一個重點，我們都只端看結果與表象。團隊在實驗中對流程的優化與跨界後透過嘗試出來的溝通規格，是非常重要但卻被大家忽視的一環。跨界即是一種新型態的組合，大家都只注意到組合出來的型態，而忽略了在組合時零件間的連結或是組合的流程上是否有更好的定義方式。
叁式參加的跨界創作從《第七感官》到《 Second Body 》，沒有補助這兩個創作是根本不可能發生，還有拿到補助的單位，應該適度釋放自己創作過程的經驗，分享給其他有興趣了解的同業，讓產業好、事情能夠發酵，藉由分享讓經驗被活化利用，是補助案很重要的課題。
叁式參與這次演唱會最大的困難，相較於和表演藝術界的合作差別在哪裡？節目的內容完全不同，組成的結構也大不相同，幾乎無法類比，一開始連到底要做多少工作都無法預估，超過四個月的籌備期，就是奠基在叁式過去的技術基礎上。一個新的超大型實驗計畫，為了節目添購新設備，嘗試新的科技應用，從演唱會導演的初步劇本構想開始，然後 follow 劇本的 guideline，從音樂和演唱會的主題抽出具代表性的元素，去形塑核心的感覺與氛圍，去尋找適合在舞台上呈現效果的新科技應用，導演給了相對很大的創作空間，叁式也根據前五年和表演藝術合作的邏輯，雙方充分溝通科技能做到的效果與極限後，然後建立起相互信任的協作方式。
最後運用了哪些科技在這次的演出？
日本的「Perfume」在 SXSW 的表演。
live 表演「即時」是核心，使用微軟開發的 Kinect 感應器（ sensor），總共運用了包括 skeleton detection 肢體偵測、point cloud 點雲、photogrammetry 攝影測量、particle system 即時粒子運算系統（註二）、virtual camera 虛擬攝影、聲音視覺化等技術，所有的視覺影像都是由點、數以百萬計的點來構成，所以需要很複雜的即時運算，為什麼用「點」？因為能呈現煙霧甚至是風的意象效果，歌手的動作、造景、效果、包括聲音都是即時運算互動，整段演出具有高度的實驗性，把過去五年來累積的經驗畢其功於一役。而且導演在真正影像完工彩排前，幾乎只能意會可能的效果，好在即時互動科技，只要調整參數，彩排時還有很大的修正空間，未來在現場演出時，也可以因應不同的現場狀況，包括場館大小、觀眾的反應、樂團的演出、新加入的其他表演者，修改內容來配合。
類似的演出，國際上以日本的「Perfume」、冰島歌手 Björk 是先驅，至於美國則是透過技術公司的形式發展，今年金曲國際論壇受邀來台的 Moment Factory，就是一個發跡自洛杉磯的跨國公司，在全球四地提供表演活動的新媒體技術服務，差不多的發展軌跡也多是從藝術的實驗性表演開始，然後拓展到商業表演或活動運用。
第一次有機會可以透過蔡健雅的演唱會，接觸到小巨蛋這樣等級的 scale，從幾百人小劇場的演出規模一下子提升到超過萬人的大現場，曾煒傑希望能從這場演出起一個頭，可以將過去的經驗活化，至於最後表演的完成度和評價，叁式也有信心面對，對他們來說這個過程乘載的經驗與突破才是最重要的價值。一個八百多萬的跨界補助案，因為資訊不足、網友帶頭批評、娛媒跟著畫靶追打，搞到被放大檢視以致於壓力萬鈞，主辦單位也只能全盤接受，至於為什麼不能提早說明？困難就在於真的不能，整個前置工作就是要歷經一段相當的籌備，接近演出前才有辦法作比較完整的說明。
澎湖七美取景，即時粒子運算系統圖示
最後用文字簡單說明其中一項的科技運用，空拍機遠征澎湖七美取景，建置 3D 地景，然後透過各種技術將地景改造成符合演唱會「列穆尼亞」古文明意像的美術風格，動態即時與表演者互動然後一起呈現在舞台上。至於其他的科技運用，實在太難用文字敘述，就等演唱會舉行後透過現場的錄影記錄再來體會吧！
註一：
「台灣科技藝術節」系列演出中，由安娜琪舞蹈劇場推出的《 Second Body 》是世界巡演的台灣回歸演出，叁式負責表演相關的軟件開發與視覺藝術， 公演資訊連結點此。
註二：
技術的補充說明：運用空拍機拍攝地景建置場景，與現場的歌手合成，使用點雲作為視覺元素，場景也必須是點雲形式。應用 Photogrammetry 技術建置場景，這是一種透過多角度的照片產生點雲的方法。取得點雲之後，為了讓畫面有更多的流動與特效，所以建置了一個即時的粒子運算系統，讓點雲有更多的動態細節與呈現方式。
叁式有限公司基本資料：
叁式有限公司（Ultra Combos）成立於 2010 年，為一專業新媒體設計團隊。由一群熱愛互動科技、酷炫視覺與新奇體驗的各式專業人員所組成。一個崇尚自由、勇於挑戰、樂於分享的新媒體設計團隊。作品橫跨軟體與硬體、商業與藝術。自詡為現代煉金術士，手拿數位工具攪拌著美學、創意、概念、視覺、空間、燈光、裝置與聲音等元素，企圖創造屬於這個時代的作品樣態。團隊也持續活躍於國內外具指標性之重要藝術活動，包括台北數位藝術節、美國 SIGGRAPH、巴西 FILE 國際電子語言藝術節、阿根廷 TSONAMI 國際聲響藝術節、荷蘭 TodaysArt 國際藝術節、英國 World Stage Design 世界劇場設計展等與奧地利 ArsElectronica 電子藝術節等。
專案經歷：
2015 《鋼鐵軍團》，漫威英雄特展，新光三越台北新天地
《鬼太郎妖怪市集逃走》，華山文化創意園區
《解密科技寶藏》，創新科技專案，松山文創園區
2014 《 YouTube Pulse – 影音創意大賞》，Google，ATT SHOW BOX
《麥卡倫-蘇格蘭的偉大冒險開幕演出》，華山 1914 文創園區
2013 《乾隆潮》，新媒體藝術展，國立故宮博物院
《科技之窗》，工研院展示中心，新竹工研院 51 館
《時空旅人未來首航酒吧》，海尼根穿越時光計畫，克緹大樓一樓廣場
2012 《夢發光互動體驗空間》，海尼根夢發光設計展，華山 1914 文創園區
《Nike Giant Book 》，Nike Summer Nights，台北市西門町電影公園作品展演：
2015 《Re:SecondBody》，Ars Electronica Festival，New Cathedral, 奧地利
2014 《SecondBody》，實驗呈現，表演 36 房
2013 《第七感官》，2013 WSD 世界舞台設計大會，Cardiff, Wales，英國
《第七感官》，Contemporary Dance Showcase: Japan + East Asia，Japan Society，紐約，美國
2012 《第七感官》，Todaysart 2012，Aan Het Spui，荷蘭
《害人乓》《食貪蛇》，超旅程 2012 未來媒體藝術節，關渡美術館
2011 《漢字三太子》，台北世界設計大展，世貿南港展覽館
《和鳴》，台灣國際文化創意產業博覽會，世貿南港展覽館
《聲音騎士》，「後態度」－台灣年輕藝術家聯展，Ex Teresa Arte Actual，墨西哥
《COSMOS》，TSONAMI Buenos Aire s國際聲響藝術節，阿根廷
2010 《尾具》，第11屆 FILE PRIX LUX 巴西國際電子語言藝術節，Cultural space of SESI Paulista，巴西策劃執行：
2011 《叁式!! Ultra Combos!! 》，2011 叁式個展，台北數位藝術中心，台北
2011 《超常雕塑》Extraordinary Sculpture / 國際互動藝術邀請展，南海藝廊，台北
2010 《台灣電虎》新媒體跨領域表演藝術交流祭，台北延伸閱讀：
演唱會科技應用：連結真實世界與虛擬世界的互動裝置 — Kinect
演唱會科技應用（韓國篇）：第一個專為全息投影（Hologram）打造的展演空間 — K-live
重擊有 Podcast 囉！歡迎到各大平台搜尋「娛樂重擊」並訂閱
