レコードの上の手は誰のもの？

スクラッチは2つの動作の組み合わせ

スクラッチに使う音はもともとレコードに入っています。DJがやっているのは、 レコードをどう回したか と フェーダーをどう動かしたか の2つの動きによる音の加工。この作品は、それらをそのまま数値に起こします。

動画から、その2本の線を読み取る

レコードに明るい丸いシールを貼って、スマホで真上から撮るだけ。1コマごとに シールの角度 と フェーダーの位置 を測ります。手でシールが隠れたコマは、位置を前後のコマとレコードの回転数から推測します。

スクラッチを別の楽器に変換する

鍵盤ひとつに、スクラッチの動きをひとつ。キーを押すと、プラグインの中のレコードが DJが回したとおりに回り 、DJが切ったところで音が切れます。そこで使われる音は、弾く人が自分で選びます。

音楽制作ソフトで使えるプラグイン(Audio Unit / VST3)として動きます。

じゃあ、演奏しているのはだれ?

ここではターンテーブリズムという演奏技術が、ビートメイクという別の技術に転移します。スクラッチを極めたい人、それを音として作品に組み込みたい人、そのどちらが欠けてもこの作品は成り立ちません。 これは、ある高度な専門性が別の高度な専門性に変換される過程を表しています。

ちなみに...

いくらプロのDJのスクラッチでも、同じ動きを完璧にくり返すと人間らしく聞こえません。 そこでゆらぎのつまみをつけました。どれだけ偶然にまかせるかを、弾く人が自分で決めます。

AI化するということの意味

人の動きを学習して自由に再現できるようにするというのは、必ずしも中立的な行為ではありません。機械学習はその目的上、必ず何かしらのプロフェッショナリズムを奪うからです。ある人が人生を賭けて培った技術を、会ったこともない人がコピーして自由に使えることは、どこまで許されるのでしょうか？
よって、完成したプラグインは公開していますが、その学習方法は公開しません。制作者が個別に許可を取った人の技術のみをお借りしています。