免費論壇 繁體 | 簡體
Sclub交友聊天~加入聊天室當版主
分享
返回列表 發帖

[MML創作心得] 自動扒譜技術研究

本帖最後由 弭伊露 於 2020-1-3 01:56 編輯

自動扒譜技術研究  

The Reserch of Automatic Music Transcription


2020/1/1


(年末比較忙碌,文章先概略記錄下資訊,日後再修飾文句)


目標與展望

        這份研究是為了解決瑪奇吟遊詩人在無法取得MIDI音源或樂譜時,必須耗費大量時間扒譜的問題,因此目標即為自動化達成類比音訊轉換數位音訊的功能,主要實現內容與執行階段如下:
1. 類比訊號的讀取與基本資訊解析:簡言之就是基本讀取音樂檔以及提取音樂聲道、取樣率、響度、速度等資訊做後續分析。
2. 類比訊號中各樂器的音訊拆解:將音樂中各樂器的部分分離成各個聲部。
3. 各樂器音訊的重建與音高辨識:將各樂器聲部重建成音軌並轉換成音高。
4. 各樂器音訊與瑪奇中樂器的對應與轉換:找出最適合演奏各樂器聲部音軌的瑪奇樂器,並移調到適合演奏的音域。
5. 輸出數位訊號編碼:寫成MML格式。
6. 制式化編曲方案:提供快速編曲的方案,如將多聲部壓縮成由一個樂器演奏並不超出限制字數。
7. 特製化編曲方案:與知名詩人合作,以深度學習技術訓練有該詩人特色的編曲技巧的AI,應用在快速編曲中。
8. 工具開發與優化:寫成應用程式。

其中有些功能就目前我所知最新的科技是尚未達成的,因此我將以邊研究邊開發的做法來逐步實現這些功能,並將實驗過程記錄在這篇文章之下。

關鍵字備忘錄:
Transcription - Intro & definition.
https://en.wikipedia.org/wiki/Transcription_(music)

已有程式工具:
Melody Scanner - Single instrument melody transcription.
https://melodyscanner.com/

Riffstation - for Guitar, key transpose.
https://www.youtube.com/watch?v=kVpuUW_zYIY

DrumExtract - Extract drum component, demo.
https://www.youtube.com/watch?v=FPyWFaaubq0

Automated Drum Transcription Library - Github.
https://github.com/CarlSouthall/ADTLib

The Sound of pixels - Use deep learning(U-net) traning module.
http://sound-of-pixels.csail.mit.edu/



參考文獻:
Paris Smaragdis(2003). Non-Negative Matrix Factorization for Polyphonic Music Transcription.
https://www.ee.columbia.edu/~dpwe/e6820/papers/SmarB03-nmf.pdf

Emmanouil Benetos(2013). Automatic music transcription: Challenges and future directions.
https://www.researchgate.net/pub ... d_future_directions

Carl Southall(2016). AUTOMATIC DRUM TRANSCRIPTION USING BI-DIRECTIONAL RECURRENT NEURAL NETWORKS.
https://carlsouthall.files.wordpress.com/2017/12/ismiradt2016.pdf

Notes on Music Information Retrieval - website about music analysis & programing by Python.
https://musicinformationretrieval.com/index.html

【深度学习论文】:U-Net
https://blog.csdn.net/hduxiejun/article/details/71107285

圖像分割中的深度學習:U-Net 體系結構
https://www.chainnews.com/zh-hant/articles/369337679143.htm

麋鹿你太厲害了xdddddddddddddd
如果可以扒譜就太棒啦!(欸)
剛剛看了可以自動生成二次元老婆老公的論文(?)真心給跪了,好感嘆qwq
謝謝麋鹿的分享~
世界大同,禁獵鯨,與美好品格,是我目前想像中最美好的全部

TOP

回復 2# 果珍李奈
謝謝李奈的支持,目前尚未實現,所以我也不好自負的接受大家稱讚,近期完成學業,比較有時間做自己喜歡的研究了。
想研究的初衷也只是希望降低作曲門檻讓更多詩人能參與或更便利的創作,無奈許多過去活耀的詩人們生活越來越忙碌,想加入作曲的新人也難以入門,所以希望以這個工具改變現狀,讓未來有更多機會再次舉辦巡迴音樂會。

AI生成角色是我認為較有趣的研究,也許繪師們會覺得從零開始構思一位角色,給予設定並繪製出來,是一份具有成就感的事情,不過如果角色可以像瑪奇的角色那般,快速換裝或改變表情,也是另一種趣味,而且可以省去構思畫面後,繁雜的線稿、上色等過程。

論文日後我會嘗試去解析的,並用白話易懂的方式呈現,讓大家就算背景知識不一樣也能理解,不然只讓大家看完後有不明覺厲的感受,寫的文章就沒有效益了>"<

TOP

關於「扒譜」

扒譜(Transcription,又稱為扒帶)[1] 是指利用人耳或輔助工具來辨識音樂中的音高、樂器種類等資訊後,轉寫成樂譜或MIDI的過程

這種技術除了對扒譜者耳朵的辨識音高能力,也就是音感有基本的要求外,還會需要樂理知識和對樂器演奏技法一定程度的瞭解才能順利進行

而扒譜也並非常人所想的,能一次將音樂像翻譯機那樣直接轉換,即使是有經驗的扒譜者也會將音樂拆成許多片段,依序慢慢解析

關於音樂的組成,大致分為音高、節奏、音色[2] 三項

音高指的是旋律、和弦,也就是耳朵所聽到高低變化的聲音,以唱KTV為例,唱歌走音就是音高不正確造成

節奏指的是速度、節拍,也就是這些聲音播放的長短、快慢與出現的時間,同樣以唱KTV為例,唱歌掉拍就是節奏不正確造成

音色可以想成是發出聲音的樂器,不同樂器即使演奏相同音高、節奏,也會產生不同的感覺,一樣拿唱KTV為例,男聲與女聲唱同樣一首歌,聽起有不同感受,就是音色的差異所造成

扒譜後這些資訊同樣可以在樂譜中看到(以MabiIcco為例)
音高節奏音色.jpg
2020-1-23 00:38




[1] https://zh.wikipedia.org/wiki/%E6%89%92%E5%B8%A6
[2] https://zh.wikipedia.org/wiki/%E9%9F%B3%E4%B9%90

TOP

返回列表