开源模型Mirelo: 将音乐转化为可编辑的乐谱

你是否曾听过一首心仪的歌曲，却苦于无法获得它的乐谱亲自演奏？全新的音频转 MIDI 模型就能帮你实现这个愿望。只需输入一首歌，它就能为你生成乐谱，并按乐器分类，包括人声、鼓、贝斯、键盘等等。可以使用 Mirelo Studio 中全新的免费音频转 MIDI工具进行测试。它可以将任何 WAV 或 MP3 文件转录成完整的混音。之后，您可以获得完整的乐谱来学习乐器部分，或者将任何音轨导出为 MIDI 文件并导入到您的 DAW 中创作新的作品。

下面我们做个实验：

1. 上传歌曲生成midi文件：

2. 导出midi文件并可视化出来：

3.将导出的MusicXML文件转为五线谱：

4. 用之前开发的五线谱转音调验证一下五线谱：

上传一段录音，即可获得以下功能：

自动乐器检测。该模型能够识别混音中的每个部分并进行标记（人声、鼓、电贝斯、合成器主音等等）。
每个乐器对应一个独立的 MIDI 音轨。检测到的每个声部都会在钢琴卷帘窗口中显示为单独的音轨，您可以在导出前查看乐谱并调整任何需要更改的音符。
音乐背景。基于该模型构建的应用程序可以更进一步，检测和弦、调性和速度，从而为您提供完整的和声信息。
一键导出。可单独播放、静音或下载任何音轨为 MIDI 文件，并将其导入到您的 DAW 中。

代码地址：

https://github.com/muscriptor/muscriptor体验地址：https://www.mirelo.ai/studio
下一步设想：

钢琴卷帘（Piano Roll）动画

最经典的，像 Synthesia 那样，音符从上方掉下来击中琴键，带粒子效果、发光、轨迹等。适合做 YouTube 音乐视频或直播背景。
3D 场景可视化

用 Blender 或 TouchDesigner，让音符控制物体跳动、粒子爆炸、灯光闪烁、几何形状变形等。
频谱/波形风格

根据 MIDI 音高和力度实时生成彩色柱状图、波浪、几何图案。
乐器分离可视化

Mirelo 分离了不同乐器轨，你可以给鼓、人声、贝斯分别做不同颜色/风格的视觉层，超级酷。
游戏/互动效果

像节奏游戏一样，同步显示 falling notes；或者做网页版音乐可视化器，用户上传 MIDI 就能看。
其他创意

生成抽象艺术、数据艺术、灯光秀控制（DMX）、甚至 VR/AR 里的音乐世界。