把AI科技融入音樂，他們做到了。

文 | 世昕

編 | 石燦

在古希臘神話中，音樂天才俄爾普斯有一把精美絕倫的七弦琴，能夠彈奏出世間最令人陶醉的音樂。

後來，這把七弦琴被懸挂于天穹之上，謂之“天琴”。

“我們是做音樂科技的，所以想借這個名字傳遞這樣一個理念，希望用科技讓用戶更好的享受音樂的美好。”

這裡的“我們”指的就是“天琴實驗室”。在前不久騰訊音樂娛樂集團（TME）打造的“ROCK N Code”TechME技術周上，天琴實驗室——作為集團旗下首個音視頻研究實驗室正式亮相。

QQ音樂技術副總裁周文江向刺猬公社（ID：ciweigongshe）介紹，天琴實驗室的前身是QQ音樂和全民K歌多媒體研發中心，實驗室緻力于通過AI科技提升旗下多個音樂平台的視聽體驗。

這到底是怎樣一個團隊，他們又研發出了哪些“音樂黑科技”，音樂技術未來的發展方向又會如何？帶着諸多疑問，刺猬公社和天琴實驗室的成員們聊了聊。

你是否經常會有這樣的體驗：一段熟悉的旋律在腦海裡盤旋，卻想不起來歌曲的名字；别人輕聲哼唱的歌曲動聽悅耳，又始終找不到原版；短視頻背景BGM吸引了你的注意，評論裡“求出處”卻找不到答案。

如何解決這些“尴尬時刻”？你可能會想到現在各大音樂平台标配的功能：“聽歌識曲”。

這一功能的最基礎的核心技術在于把控音樂的“指紋”，也就是一首歌曲獨一無二的聲紋特質，并通過算法技術對音頻指紋特征進行匹配。天琴實驗室就是這一技術的先驅者之一，早在2013年就在QQ音樂平台上線了相關功能，并且長期在這一領域保持着領先優勢，是世界音頻識别技術賽道的“領跑員”。

“在音頻識别這方面，我們處于國内外領先的地位。”天琴實驗室音頻團隊負責人Ethan的自豪溢于言表。

能保持領先，天琴自然有“秘籍”，那就是不斷推進技術革新。

自2019年起，天琴實驗室便開始了“下一代聽歌識曲技術”的研發工作，“秘籍”一練就是一年多，最終推出了以“翻唱識别”“哼唱識别”兩大成果為核心的“聽歌識曲2.0”。

新版本将“聽歌識曲”的使用場景擴大到了生活中的各種時刻，無論是網絡翻唱、現場live、視頻背景BGM還是随意哼唱，用戶都能找到想要的音樂。也是在這一年的世界音頻檢索評測大賽（MIREX）上，天琴實驗室的聽歌識曲技術憑借平均3秒識别一首歌曲的成績一舉拿下“音頻指紋”項目的世界冠軍。

之所以會進行這樣的技術革新，根本原因還是為了解決用戶新一輪的“查找難”痛點。“我們當時發現現在很多翻唱作品甚至比原唱火，但是通過以往的聲紋匹配通用技術，用戶卻是找不出翻唱版本的音樂的，因為歌曲聲紋已經改變。”

Ethan開始回憶公司決定研發“聽歌識曲2.0”時的經曆，“當時還有三個月就是春晚，業務判斷上面出現的歌曲全是現場演繹版本，不僅用戶使用聽歌識曲的需求量更大了，新技術能否精準識别翻唱作品也成了新的關鍵點。”

音頻識别，圖源網絡

技術難度高、用戶需求大，頂着重重壓力，在2020年春節前，Ethan團隊終于獲得了技術突破，翻唱識别率大大提升。春晚是最好的證明機會，當天晚上，Ethan帶着團隊進行了功能測試。

“還記得當時是劉歡在春晚演唱電影《流浪地球》的主題曲《帶着地球去流浪》，我們的‘聽歌識曲’技術直接識别到了電影版的歌曲。而在這之前技術是做不到的，直到現在仍然隻有QQ音樂可以做到。最終的測試結果讓我們都非常滿意。” 已經過去了一年多，Ethan還是對那一刻記憶猶新。

同時，對于Ethan來說，“同行的認可”也帶給了他極大的鼓舞。

他提到了兩個平台：酷我和微信的“搖一搖”。

雖然同屬于一個集團，但此前酷我音樂與QQ音樂的技術團隊各自獨立，舊版本的聽歌識曲技術也并沒有互通。“但是現在酷我也接入了我們的聽歌識曲系統，相當于被兄弟産品認可了。”Ethan說道。

“搖一搖”的故事更讓他振奮。作為全國最大的社交通訊App，微信平台對于技術的要求非常嚴格，而“成為搖一搖聽歌識曲功能的技術支持”也一直是天琴實驗室的目标之一。經過幾年的努力，近期搖一搖終于接入了天琴實驗室的聽歌識曲，對于Ethan們來說，這是對于技術實力最好的認證。

“微信内部通過評測，發現我們的技術在業内确實是領先和有明顯優勢的。”Ethan聲音興奮，他再次強調：“我們被認可了！”

QQ音樂聽歌識曲和全民K歌智能修音

除此之外，天琴還在歌聲歌詞識别、音頻合成處理、音質提升、音頻理解等方向上達成了突破。最佳案例是歌詞時間戳，“以前的歌詞顯示的時間打點可能主要是依賴人工，對于我們上億首的曲庫來說工作量非常大。”天琴實驗室負責人姜博士介紹。

除頭部的幾千首歌曲外，QQ音樂、全民K歌等平台裡大量的“長尾”歌曲也同樣需要“歌詞時間戳”技術支持，提高效率成為當務之急。天琴實驗室與中科大聯合，将AI技術引入時間戳功能，效率提升了一個維度，用姜博士的話來說，實現了從0到1的突破。

基礎的音頻技術做到極緻，天琴實驗室還不斷在“新領域”展開探索。

如今虛拟偶像産業飛速發展，虛拟歌姬、AI聲音合成等也成為音頻領域的重要議題，天琴實驗室與高校聯合合作，在tts（語音合成）技術上不斷探索，在情感、韻律、速度等多個維度進行優化。

目前已經推出業界首款情感AI朗讀産品，在QQ音樂的長音頻業務闆塊中已經做到提供文字即可轉化為有聲小說，同時還深入探索直播領域，探索虛拟主播的更多可能性。這些都已經是天琴實驗室的音頻方向可見的“黑科技”進程。

對于天琴實驗室音頻團隊來說，目标不止是通過技術支持平台、滿足用戶，更要不斷突破創新，成為國内外頂尖的音頻研究機構，成為行業标準的引領者。

回顧近年來音樂産業的發展，短視頻内容總量的爆發是重要的節點。作為短視頻内容的核心組成部分，背景音樂一直備受關注，一條爆火的短視頻有時能将一首連歌手都籍籍無名的歌曲帶上網絡熱歌榜單。

這些變化都表明，視頻将成為音樂産業拓張發展的重要形式

“音樂視頻化”正是天琴實驗室的重要戰略之一。“視頻化是未來音樂行業的大趨勢，這是行業内的一個共識，我們要抓住這個機會。”天琴實驗室視頻團隊負責人Lucky解釋。從2011年加入騰訊後，Lucky已經在視頻領域裡浸潤了整整十年，對于行業有着深刻的認識。

音樂“元宇宙”，圖源網絡

“2014年我加入QQ音樂做視頻技術方面的工作，見證了整個QQ音樂視頻技術團隊從一塊塊小的業務到整個技術矩陣的發展。到目前視頻化已經成為集團的核心戰略之一。”他回憶。

“看見更美好的音樂”是天琴實驗室視頻團隊的核心理念。近年來，團隊遵循着音樂視頻化、視頻質量、視頻理解三大方面不斷進行着探索。

到底怎麼将音樂“視頻化”？并不是音樂配上視頻那麼簡單。

首先是在歌曲播放頁做文章，點開QQ音樂的歌曲播放頁，不僅有實時滾動的歌詞，背景還有豎屏靜音視頻播放，在聽歌的同時給予用戶視覺感知，通過畫面加深用戶的印象。

而為了讓傳統橫屏MV能夠融入這種音樂視頻的新形式，更好地實現價值，天琴還通過明星識别、焦點跟蹤、視覺顯著性檢測、鏡頭平滑追蹤算法等技術對其進行處理，将橫屏MV中的精彩片段剪輯成為豎屏MV，并且更流暢、更“絲滑”，完美貼合用戶使用場景。

QQ音樂豎屏MV

數據是最誠實的講述者。天琴實驗室在不斷推進技術進步的過程中，也通過實驗驗證了效果，視頻化後的歌曲人均聽歌時長、人均播放次數均顯著增長，尤其對于首次使用的用戶來說，效果更是出衆。目前播放頁視頻的日均播放量級過億，每天有千萬級人次觀看。

天琴的音樂視頻化還将應用于更多場景下，如平台推薦頁、視頻歌單等。從整個音樂産業的角度來看，音樂視頻化不僅關乎于視頻本身，更是推動音樂内容宣發的重要一環，“音樂視頻化能更好的為歌手為音樂人服務，讓更多的用戶直觀的感受到他們的形象，也能更好地感受到音樂的視覺氣質，這都是有利于作品推廣的。”

“可能整個行業都在做，但對于天琴來說，我們的優勢是技術沉澱的領先。其他平台做豎屏視頻可能還要更多利用人力，但我們把AI算法融入其中，從效率到質量都是業界領先的。”

在視頻質量提升方面，天琴實驗室則主要針對直播場景進行了優化。目前音樂類直播已經成為直播領域的一大品類，QQ音樂、全民K歌等平台更是音樂主播們的“主戰場”。為了讓用戶有更好的觀看體驗，天琴實驗室視頻團隊研發出了業内前沿的“實時”算法處理技術。

音樂直播，圖源網絡

“差異在于實時技術，目前市面上的直播優化大多數在後台，進行批量處理。而我們則可以通過前台移動端實時地進行處理，而且效果更好。”膚色美白、清晰度提升、實時去噪、實時HDR效果，直播畫面得以更加清晰、流暢。同時天琴背靠騰訊系大生态，還會将技術應用于更多的産品上，讓移動端的實時技術推廣開來。

同時在視頻理解方面，天琴在歌手識别、唱跳識别、歌詞檢測等方面也取得了不錯的成果，充分複用公司體系的視頻理解能力，将其運用于音樂視頻中，推動平台效果的發展，滿足多元的用戶體驗。

Lucky還跟刺猬公社談到了“音樂元宇宙”這個概念。“元宇宙這個概念目前業界都在提，作為視頻方向的技術團隊，這也是我們未來發展的方向之一，而音樂視頻化技術以及我們天琴實驗室視頻團隊，可能會為其提供底層的技術支持。”

翻開天琴實驗室的“未來目錄”，我們能看到很多充滿科技感的詞彙，從下一代互聯網再到XR概念，“音樂視頻化”代表的不僅是形式上的創新與改變，也可能是音樂産業維度提升的“敲門磚”。

在和天琴實驗室的交流中，一個字眼被經常提起，“溫度”。

“讓用戶感受到科技的溫度，這是我們很重要的出發點。”QQ音樂技術副總裁周文江向刺猬公社表示。對于天琴實驗室來說，技術并不僅僅是技術本身，更重要的是與用戶、行業緊密結合，這樣的技術才是“好”的技術。

QQ音樂業務線市場公關副總裁陳菲菲向我們分享了最近的一個“科技 溫度”的項目：“QQ音樂在99公益日推出了國内第一張低頻音樂專輯《聽見“聽不見”的音樂》，這是是專門為中高頻聽力損失的孩子們打造的公益專輯。”

她表示，“國内現在有超過45萬的中高頻聽力損失兒童。一次偶然的機會，我們跟這群孩子和他們的家長交流發現，這些孩子們從未聽過一首完整的歌曲，他們對音樂有着美好的好奇與向往。”

“為了實現他們‘聽到完整歌曲’的小小心願，我們邀請了9組愛心藝人授權自己耳熟能詳的代表歌曲，然後經由天琴實驗室的‘聲伴分離、音樂生成、伴奏改編、歌聲合成’等智能化音頻技術能力對歌曲進行了多重處理，團隊還多次去往實地與孩子們的家長進行訪談，用溝通與誠意讓他們理解低頻音樂，并通過孩子們現場收聽demo低頻歌曲進行驗證和優化，最終在所有人的努力下推出了這張低頻專輯，讓孩子們聽到了完整的歌曲。”

“看到孩子們聽到完整音樂時那驚喜、興奮的表情和情不自禁地說出‘很好聽’、‘想再聽一遍’時，我們項目組所有人的眼眶都濕潤了。”

深圳市厚樸特需兒童發展中心高頻聽力缺失小朋友聽低頻公益專輯

“其實這個技術本來是我們一位同事此前所研發的一個功能，但因為種種原因無法很快上線，這位同事當時還很沮喪，很低落。” 音頻團隊負責人Ethan對這件事頗多感慨。

“後來市場團隊跟我們就99公益日項目進行頭腦風暴時，大家讨論發現之前的這個技術就可以幫助中高頻聽力損失的兒童實現聽完整歌的願望。項目最終也證明了效果非常好，我們那位同事還親身去跟這些小朋友們進行了交流溝通。”

孩子們的笑臉，是對他們最好的鼓舞，也是對QQ音樂堅持“有溫度的科技”最好的回饋。

99公益低頻專輯項目并不是個例，天琴實驗室還有很多類似的“溫暖”技術。“我們很重要的一個戰略就是‘無障礙’，作為音樂技術的研發者，讓無論是視覺障礙還是聽覺障礙上的用戶都能獲得良好的體驗。”周文江解釋到。

刺猬公社注意到，在與幾位成員的訪談中，他們多次提到了“科技向善”這個詞眼，對于天琴實驗室來說，通過技術讓平台實現社會責任的擔當，也是他們的目标之一。

除了給予用戶“溫度”外，天琴實驗室還緻力于推動音樂行業的發展。未來AI輔助創作工具的發展也将為大量缺乏編曲能力、創作知識的草根音樂人提供了機會，通過天琴實驗室的AI技術，通過音頻合成、樂器模拟、AI編曲等功能實現“一個人就是一個音樂團隊”的暢想。

一個人的就是一個“錄音室”，圖源網絡

而背靠内容生态龐大的數據庫，天琴實驗室在研發上具有天然的優勢，在技術研發的下遊階段，QQ音樂等平台也能真正做到“技術落地”，讓科技真正發揮效力，也為天琴實驗室的研發提供驅動力。

“我覺得很重要的一點就是技術驅動，我們的創新科技可以真正應用到業務中去，讓同行、用戶了解到我們的技術。我們最興奮的時刻，就是功能上線以後，數據得到了産品的認可。”每次新功能上線後，Lucky都會和團隊成員一起看用戶的評論。

也正是技術落地這一優勢，讓天琴實驗室赢得了大量高校的親睐。“對于高校的人才們來說，他們的研究需要實踐的機會，而我們的平台就為他們提供了很好的機會。”

“高校合作”也是天琴實驗室一個重要的研發方式，從2018年起，天琴的音頻團隊就和多家高校聯合探索聲音的可能性，對于成員們來說，參加高校專家講座、與國内頂尖實驗室合作交流已經成為“日常”。

QQ音樂技術副總裁周文江（右）為西北工業大學人工智能領域專家謝磊頒發聘任證書

“溫度”還體現在整個團隊上。

目前天琴實驗室的成員有三十多人，由全國各大頂尖高校的碩士、博士生組成，集合海内外頂尖人才，超過60%的成員都是90後，是一個非常年輕化的科研團隊，這也代表着團隊更有活力。而天琴實驗室作為集團的AI研發中心，不同于其他平台一般的研發團隊，更加具有創新力。

天琴實驗室姜博士在TechME技術周現場分享

“一般的團隊可能是産品提需求，然後他們去解決，簡單的需求與滿足關系。我們則不一樣，更講求技術先行，帶動整個平台的創新發展。”

在這樣的發展策略下，團隊迸發出空前的創造力。目前天琴實驗室的專利數也達到了384件，并在諸多海内外相關領域頂尖論壇、會議上受到高度認可。

沉浸于這樣“高質量”的環境下，“分享”也成為了聚合團隊凝聚力的重要日常，在不斷的互助交流中推動科技的發展。

“音視頻團隊出了名的離職率低，留得住人。”姜博士笑稱，“團隊還在不斷擴大，歡迎看到這個報道的人才們也來加入我們。”

幾個月前，集團内部多個技術團隊被整合起來，天琴實驗室正式成立。

“一方面是符合公司當前以及下一階段的對AI技術的訴求，另一方面則是把我們中台的基礎打牢，集中人力進行一些技術突破。” 姜博士給這一調整做了個總結——“分久必合”。

天琴實驗室的出現代表着TME技術創新戰略的進一步發展，“讓我們的技術團隊更加獨立的思考，去做更多具有前瞻性的技術，讓音視頻領域更具想象。”談及天琴實驗室的規劃時，周文江态度中表現出了極大的重視。

他還向刺猬公社提到了未來天琴實驗室的發展規劃：從音頻、視頻兩大領域入手，讓技術團隊更加細分，一方面能夠更精準地填補技術缺口，另一方面則能進一步推動技術精細化發展，從而實現從數量到質量的全方位提升。

“除了底層的一些AI技術外，我們還在推動PDM科技的發展。”周文江口中的PDM科技，其真正的功能在于“預測”。以前刺猬公社也曾報道，在一首音樂被創作出來、零播放量且并未流入市場之前，憑借PDM科技，平台就可以通過AI算法對其進行“價值預測”，判斷一首歌的潛力與市場。

音樂的未來“黑科技”，圖源網絡

這将對整個音樂行業産生革命性的影響。“目前對于音樂作品的價值估算以及推薦都是基于投放後用戶的反饋，而PDM則能在一首歌還是demo（小樣）階段的時候就對其進行評估。”他顯然對這個技術很自豪，“這是一種更高維的算法。”

這一技術的應用可以說是充滿了想象力，除了平台自己使用，TA甚至可以對外提供給整個産業鍊來使用，在音樂生産分發的上遊部分就可以為歌曲的創作者、音樂版權公司、平台提供參考，大大提升内容挖掘、人才培養、歌曲分發等環節的效率。

目前這一技術已經在TME内外廣泛應用和推廣，并且還在不斷“進化升級”，可以确信的是，它将成為天琴實驗室“音樂黑科技”的最佳名片。

科技賦能音樂，而科技發展的根本還是在“人才”二字。在與天琴實驗室成員們的交流中，刺猬公社感受到了這個團隊獨有的“氣質”，具體将這種形象概括，大概可以描述為“具有溫度的、不斷進取的開拓者”。

與大衆印象中的技術宅不同，他們侃侃而談、幽默風趣，會為技術無法上線而沮喪，也會為用戶的好評而雀躍。科技、AI、算法，這些冰冷理性的字眼被他們注入溫度，他們癡迷于科技的不斷突破，也更注重人文關懷。或許是音樂帶來的影響，他們也非常有趣，正如實驗室的名字“天琴”一樣。

“我們做的是一些有意思的研究。”音樂是一個浪漫的、充滿無限想象力的領域，音樂科技的先驅們同樣擁有“有趣的靈魂”。

音樂的創作沒有上限，音樂科技同樣擁有無數種可能。現如今，從消費場景到消費方式，整個音樂産業都處在一個不斷發展創新的階段，而互聯網音樂平台已經成為技術革新的主力。

我們期待，像天琴實驗室這樣自驅型的技術開拓者能夠繼續創新，探索出科技與音樂結合的無限可能。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!