ボイス・トゥ・インストゥルメントは、SpotifyのBasic Pitch AIモデルでハミングや歌の音符を検出します。ニューラルネットワークがリアルタイムにピッチを解析し、メロディーを音符イベントとして抽出。その後、選んだ楽器で再合成します。
すべてブラウザ内でONNX Runtimeによりローカル処理され、録音がデバイスから出ることはありません。モデルは約230KBで即座にダウンロード。ハミングして楽器を選べば、音が変わります。
はい - 完全無料・無制限。AIはお使いのデバイス上で動きます。
いいえ。ピッチ検出と合成はすべてブラウザ内でローカルに行われます。
ブラウザでプレビューし、WAVファイルとして書き出してプロジェクトに使えます。
ピアノ、ギター、サックス、ストリングス。今後さらに追加予定です。
録音ボタンで直接ハミングや歌を録るか、単一メロディーの音声ファイルをアップロードします。