Kinectダンス学習支援システム

鳴門教育大学による研究[1]では、小学校体育授業における表現運動の学習支援ソフトウェアが開発されました。このソフトウェアは、課題となるダンスの動画をパソコンで閲覧でき、動画遅延再生装置を用いて自分の動きを後から確認できる機能を備えています。評価実験の結果、学習者は指導内容の理解を深め、動画遅延再生装置による動きの修正に効果を示しました。しかし、速さの変化の理解と修正は学習者にとって難しく、課題として残っています。この研究は、学習者が自身の動きを客観的に確認し修正できる環境を提供する点で、本研究のダンス学習支援システム開発に示唆を与えています。特に、動画遅延再生装置によるフィードバックは、本研究のシステムが目指すリアルタイムなフィードバックシステムの前段階として位置付けることができます。本研究では、より高度な技術を用いて、より詳細かつ即時のフィードバックを提供することを目指しています。

石川航平氏らによる研究[2]は、モーションキャプチャ装置を用いてサンバダンスのリズム習得過程を分析しました。6ヶ月間にわたる長期間の実験を通して、被験者の腰などの振動の周期や振幅を自己相関を用いて解析し、サンバ特有の「強・弱・弱・強」のリズムパターンを客観的に捉えました。この研究では、リズム習得における身体動作の客観的な分析手法が示されています。本研究は、Kinectを用いてダンスの正確性を評価する際に、この研究で用いられた客観的なデータ分析手法を参考に、より精度の高い評価を実現することを目指しています。特に、リズムの正確性の評価においては、この研究の知見が重要な役割を果たすと考えられます。また、リズム習得後の上達過程における身体動作の特異点の特定が今後の課題として挙げられており、本研究でも、より高度なスキル習得に向けた支援機能の開発が今後の課題となります。

宮川則子氏と渡邉伸氏による研究[3]は、小中学校におけるダンス教育の現状と課題を分析しています。ダンスの専門知識を持たない教員が多く、「何をどう指導したらよいかわからない」といった悩みを抱えている現状が示されています。さらに、スポーツ指導の経験が豊富な教員であっても、ダンス指導には同様の困難を感じることが多く、ダンス指導とスポーツ指導能力の関連性は低い可能性が示唆されています。この研究は、ダンス指導における人材不足と指導方法の課題を明確に示しており、本研究で開発する学習支援システムは、これらの課題解決に貢献する可能性を持っています。特に、本システムは個人でも利用できるため、教員の負担軽減や学習機会の均等化に繋がる可能性があると考えられます。初心者指導における具体的な手法や課題の分析は、本研究におけるシステム設計や機能の検討に役立ちます。

曽我麻佐子氏と海野敏氏による研究[4]では、新体操のルール学習支援システムが開発されました。3DCGを用いたルールブックと拡張現実(AR)を用いたシステムの2種類が開発され、現役選手を対象とした評価実験が行われました。肯定的な評価としては、3DCGによる動作の理解促進やスロー再生による詳細な確認などが挙げられました。一方、否定的な意見としては、準備の手間や操作性の難しさなどが挙げられています。この研究は、3DCGデータを用いた学習支援システムの有効性を示唆する一方、システムの使いやすさや学習者のスキルレベルに合わせた柔軟性の不足を示しています。本研究では、Kinectとワイヤレスマウスを用いることで、リアルタイムなフィードバックと操作性の向上を目指し、これらの課題を克服することを目指しています。また、実践練習に即したフィードバックを提供する点が、この研究との大きな違いです。

松本奈緒氏による研究[5]では、モーションキャプチャ技術を用いたDVD教材による秋田盆踊りの学習支援が検討されました。このDVD教材は、マルチアングルでの観察や熟練者と初心者の動きの比較表示などを可能にしています。アンケート結果によると、6割の学習者が授業を肯定的に評価し、DVDによる繰り返し学習や自主学習への有効性が示されました。一方で、身体の使い方などの内的な理解には不十分であるという意見もありました。この研究は、デジタルコンテンツを用いた学習の有効性を示していますが、実践練習とフィードバックの重要性を示唆しています。本研究は、この研究の示唆を踏まえ、リアルタイムなフィードバックを提供することで、より効果的な学習を支援することを目指しています。特に、身体の使い方などの内的な理解を支援する機能の開発が今後の課題となります。

本システムは、ダンス学習者の動作をKinectで捕捉し、予め用意された振り付けと比較することで、ダンスの正確性を自動判定するシステムです。Kinectはユーザの関節座標をリアルタイムで取得し、ワイヤレスマウスによるクリック時刻を元にリズムの正確性を判定します。システムは、振り付けの正確さとリズムの正確さの両方を評価し、それぞれの正確性に応じて、より簡単な振り付けへの切り替えやテンポの調整といった適切な練習方法を学習者に提示します。これにより、学習者は自身の弱点に合わせた練習を行うことが可能になり、効率的な学習を支援します。システム全体の処理の流れは、流れ図3.1に示されています。この流れ図では、ユーザ認識、見本映像の確認、練習実行、判定、そして改善点の提示という一連の流れが明確に示されています。このシステムは、ダンス初心者にとって、自身のダンスの良し悪しを客観的に判断し、適切な練習方法を選択する上で大きな助けとなるでしょう。

システムはまず、Kinectを用いてユーザを認識します。ユーザはKinectの前に立ち、両腕を上に上げるキャリブレーションポーズをとることで、Kinectがユーザを認識し、骨格追従を開始します。人体が検出されると、Kinectは各関節点の座標(x,y)をリアルタイムで取得します(図3.2参照)。この座標データは、後続の振り付けとの比較判定に利用され、ダンスの正確性を評価する上で重要な役割を果たします。このリアルタイムな骨格追従機能は、ユーザの動きを正確に捉え、正確なフィードバックを提供するために不可欠です。取得された座標データの精度が高いほど、より正確な判定と、より的確な練習方法の提案が可能になります。この段階で正確なデータを取得することが、システム全体の精度を左右する重要な要素となります。

ユーザ認識と見本映像の確認が完了すると、音楽が再生され、練習が開始されます。画面は左右二分割され、右側に見本映像、左側に自身の映像が表示されます(図3.3参照)。ユーザは見本映像を参考にダンスを行い、リズムに合わせてワイヤレスマウスをクリックします。ダンスの振りの正確さはKinectによって、リズムの正確さはマウスのクリック時刻によって判定されます。リズム判定では、ビート時刻とのずれを基にJUST、SLOW、FASTの判定が行われ(図3.4、3.5参照)、ビートごとの判定結果からリズムの正確性が総合的に評価されます。リズムが正しくない場合は、クリック時刻が早いか遅いかによってFAST、SLOWと表示されます。これにより、ユーザは自身のダンスにおけるリズムのずれを正確に把握することが可能になります。このリアルタイムなフィードバックは、リズム感の向上に大きく貢献すると期待されます。

Kinectによる振り付けの一致度とワイヤレスマウスによるリズム感の判定結果に基づき、システムは改善点を提示します。例えば、体の動かし方が習得できていない場合はテンポを下げ、リズムが正確に取れていない場合はリズム練習を促すといったフィードバックが提供されます。 二回の練習結果から、振りやリズムの習得度合いを総合的に判断し、次の練習内容（振り付けレベルやテンポ）を決定します。例えば、振りもリズムも正確であれば、振り付けレベルを上げたりテンポを速くしたりする選択肢が提示されます。一方、どちらも不正確な場合は、振り付けレベルを下げ、テンポを遅くするといった修正が自動的に行われます。このように、システムは学習者のスキルレベルに合わせた適切な練習内容を動的に提供することで、効率的な学習を支援します。この適応的な学習支援機能が、本システムの大きな特徴の一つです。

本システムは、Microsoft社のWindows 7上で、Processingというプログラミング言語を用いて実装されました。Kinectの制御には、オープンソースのライブラリであるOpenNI[8]とSimpleOpenNI[9]が使用されています。この実装環境は、比較的容易にシステムを構築、改良できる点を考慮して選択されました。また、オープンソースライブラリの活用により、システムの拡張性やメンテナンス性の向上にも貢献しています。システムの実行環境や使用ライブラリの明示は、他の研究者による再現性や拡張性を高める上で非常に重要です。本研究で使用された技術情報は、将来的なシステム改良や、他の研究への応用を容易にするための重要な基盤となります。

評価実験には、21～24歳のダンス初心者4名（男性3名、女性1名）が参加しました。参加者は2つのグループに分けられ、片方のグループはシステムを用いた練習、もう片方のグループはシステムの判定機能を無効にした比較用システムを用いた練習を行いました。練習順序を入れ替えることで、練習順序によるバイアスを軽減する工夫がなされています。練習楽曲は、RWC研究用音楽データベース[10]から、ジャンル「ダンス(ソウル／R&B)」の「It’s Time to Fly」が選択されました。実験時間は15分間で、練習前と練習後におけるレベル3（標準レベル）の振り付けにおける誤り回数と、マウスによるリズム判定結果を記録することで、システムの効果を検証しました。休憩時間には、実験で使用される音楽とは異なる音楽を自由に聞かせ、音楽への慣れによる影響を最小限に抑える工夫がなされています。

実験では、システムの判定機能を用いた練習と、判定機能を無効にした比較用システムを用いた練習を比較することで、システムの有効性を検証しました。システムを用いた練習では、Kinectによる振り付けの正確さとワイヤレスマウスによるリズムの正確さの判定結果に基づき、振り付けのレベルやテンポが動的に調整されました。この動的なフィードバックが、学習者のモチベーション維持と効率的な学習促進に寄与しているかを検証しました。比較実験の結果、15分間の練習後、システムを用いたグループの一部被験者において、振り付けの誤り減少率が高い結果が得られました。しかし、すべての被験者で効果が確認されたわけではなく、実験時間や被験者の特性なども考慮する必要性が示唆されました。特に、リズム感の一致度の向上率については、システムなしの方が高い結果を示した被験者もおり、システムの効果は一様ではないことが明らかになりました。

実験後、参加者全員に対してアンケート調査を実施しました。アンケートは、目標の振り付けの習得度、振り付けレベルやテンポ変更の指示の適切さ、結果画面の分かりやすさ、リズム判定の活用度、システムの有用性、練習の楽しさなど、7段階評価で回答する項目が設けられました。各質問項目に対して、回答に至った理由も記述することで、より詳細なフィードバックを得ることが目指されました。アンケート結果では、システムのレベル調整機能やテンポ調整機能が適切であるという評価が多く、ユーザは飽きることなく楽しく基礎的な振りを学習できたと回答する傾向が見られました。この結果は、システムの設計方針が適切であったことを示唆しており、システムの有用性を裏付ける重要なデータとなっています。しかし、15分間の短い練習時間では、すべての被験者において効果が確認されたわけではなかったため、今後の改善点として、実験時間の延長や、より詳細な分析が必要であることが示唆されました。

実験の結果、15分間の練習において、システムを用いたグループの一部被験者では、振り付けの誤り減少率が比較用システムと比べて高くなりました。しかし、すべての被験者において同様の結果が得られたわけではなく、被験者間の特性や、15分という短い練習時間の影響も考えられます。リズム感の一致度の向上率に関しても、システムを用いた場合と用いなかった場合で、被験者によって効果が異なる結果となりました。このことから、本システムの効果は、練習時間や被験者の特性など、様々な要因に影響を受けることが示唆されました。アンケート結果では、システムの機能や使いやすさに関して、肯定的な評価が得られた一方で、練習時間の長さに関する改善点も示唆されました。これらの結果から、今後のシステム改善に向けて、より詳細な分析と、より長時間の練習実験を行う必要性が示唆されています。また、被験者の特性を考慮したよりパーソナライズされた学習支援システムの開発も今後の課題として挙げられます。

本研究では、開発したダンス学習支援システムの有効性を検証するため、評価実験を実施しました。実験では、システムありとシステムなしの2つの条件下で、ダンス初心者の被験者による15分間の練習を行い、練習前後における振り付けの誤り回数とリズム感の正確性を比較しました。実験の結果、システムありの条件下では、一部の被験者において振り付けの誤り減少率が高まりました。しかし、すべての被験者において明確な改善が見られたわけではなく、システムの効果は被験者によって異なると考えられます。このことから、システムの効果を最大限に発揮させるためには、個々の被験者の特性やスキルレベル、練習時間などを考慮したより詳細な分析が必要であることが示唆されました。また、リズム感の向上については、システムの有無による明確な差は確認されず、今後のシステム改良の余地を残しました。

システムの有効性を客観的に評価するだけでなく、主観的なユーザ体験も把握するために、実験後にはアンケート調査を実施しました。アンケートでは、システムの機能の適切さ、結果画面の分かりやすさ、練習の楽しさなどについて、7段階評価で回答してもらいました。その結果、多くの被験者から、システムによる振り付けレベルやテンポの変更指示が適切であり、練習を楽しく行うことができたという肯定的な評価を得ることができました。特に、ユーザのレベルに合わせた動的な調整機能は、モチベーションの維持と学習効果の向上に貢献している可能性が示唆されました。しかし、この肯定的な評価は、15分という比較的短い練習時間における結果であり、より長時間の練習におけるユーザ体験を評価する必要があると考えられます。アンケート結果を踏まえ、システムの改善や機能拡張を行うことで、より多くのユーザにとって有益なシステムへと発展させることが期待されます。

今回の評価実験の結果、開発したダンス学習支援システムは、ダンス初心者の学習を支援する上で一定の効果を示しましたが、改善すべき点も明らかになりました。特に、15分間の短い練習時間では、システムの効果が全ての被験者に均等に現れなかったことから、より長時間の練習実験を行うことで、システムの有効性をより明確に検証する必要があると考えられます。また、被験者間の特性を考慮した、よりパーソナライズされた学習支援機能の開発も今後の課題として挙げられます。さらに、リズム感の向上に関して、システムによる明確な効果が確認できなかったことから、リズム判定方法の改善や、新たなリズムトレーニング機能の追加も検討すべきです。これらの課題に取り組むことで、より多くのダンス初心者にとって有益で、効果的なダンス学習支援システムを開発できると考えています。そして、ダンス学習の普及とスキル向上に貢献できると期待しています。