01 / HERO · PROJECT 04
AI 扒谱系统
把声音带进乐谱，再交回你的手中编辑。
02
项目概览
AI 音乐转谱工具。用户上传音频或视频，系统连接音频处理、AI 音符识别、MIDI、五线谱 / 简谱、编辑与导出。
当前以钢琴 Fast 与 Accurate 两种模式为核心，同时提供音源分离。吉他、贝斯、Sax 与 Drum 为实验功能。
从一段音频，走到一份可编辑的曲谱。
03
问题
01
听到旋律，难以记录
从音频中逐个辨认音符需要时间，音乐想法也需要一个可以继续编辑的落点。
02
识别结果需要修正
自动识别后的音符与节奏仍需人工检查，因此编辑能力是工作流的一部分。
03
工具之间来回切换
音源分离、音符识别、MIDI 与曲谱展示，需要在同一个流程中顺畅衔接。
04
解决方案
把音频识别、AI 模型和乐谱编辑整合为完整工作流。用户选择适合的钢琴模式，获得 MIDI 与曲谱，再进行检查、编辑和导出。
05
核心功能
识别与处理
- 钢琴 Fast 模式
- 钢琴 Accurate 模式
- 音源分离
编辑与交付
- MIDI
- 五线谱
- 简谱
- 曲谱编辑
- 导出
实验功能
- 吉他
- 贝斯
- Sax
- Drum
吉他、贝斯、Sax 与 Drum 标记为实验功能，识别结果需要人工检查与编辑。
06
产品流程
- 01
上传音频 / 视频
从现有录音或视频开始
- 02
音频处理
准备音频并进行音源分离
- 03
AI 音符识别
选择 Fast 或 Accurate 模式
- 04
MIDI
生成可继续处理的音符数据
- 05
五线谱 / 简谱
将识别结果转换为曲谱
- 06
编辑
检查与修正音符和节奏
- 07
导出
保存整理后的音乐成果
07
产品实拍
08
技术实现
- 音频处理
- 音视频输入与识别前处理
- 音源分离
- 拆分音源供后续识别
- AI 音符识别
- 将音频转换为音符信息
- MIDI
- 连接识别结果与曲谱生成
- 乐谱编辑
- 五线谱 / 简谱展示、修正与导出
09
我的工作
- 01整合音频上传、处理与 AI 识别流程
- 02组织钢琴 Fast / Accurate 模式选择
- 03连接 MIDI 与五线谱、简谱展示
- 04整合曲谱编辑和导出体验
- 05加入音源分离，并探索多乐器识别