【研究テーマ】リハビリ× AI（人工知能・機械学習）活用
研究テーマ案：リハビリ領域におけるAI活用（理学療法士・作業療法士・言語聴覚士・視能訓練士・医師・エンジニア向け）
（2023年1月16日公開）
キーワード
：リハビリ AI 人工知能 機械学習
近年、コンピュータの性能向上により、人間の脳をコンピュータ上で模したディープラーニング（深層学習）モデルをはじめたとした複雑なニューラルネットワークなどのモデルの計算が、以前に比べて容易になってきています。
これまでのAIブームを俯瞰してみると、以下のように大きく分けて3回のブームがあるようです。
✔︎ 第一次AIブーム（1950年代）
ブームのきっかけ：推論と探索の技術の発展
出来たこと：トイ・プロブレム（簡単なゲーム・迷路）を解く
✔︎ 第二次AIブーム（1980年代）
ブームのきっかけ：エキスパートシステム（特定の専門分野の知識をデータ化し推論・判断を行うシステム）を支える記憶データ容量の増大
出来たこと：人間に指定された知識を記憶し、人間に指定された通りに推論・判断結果を出力する
✔︎ 第三次AIブーム（2006年〜・2010年半ば〜 など諸説あり）
ブームのきっかけ：インターネットの普及によるビックデータの集積とコンピュータの性能向上などによりディープラーニングの実装が可能となる
出来たこと：人間から与えられたデータから特徴量を自動的に抽出する（与えられたデータから、自ら規則性を発見し、新たなデータに対して推論できる）
第三次AIブームでは、2012年に行われた画像認識コンペ（ILSVRC：ImageNet large scale visual recognition challenge）で優勝した
・AlexNet（アレックスネット）
＊ 8層の畳み込みニューラルネットワーク
で、ディープラーニングが活用されていたことで、ディープラーニングが注目されはじめたようです。
あれから時が経ち、
・AI × 〇〇（産業・業種）
という形で、ディープラーニングに限らず、様々な機械学習モデルの応用が始まっている昨今ではありますが、リハビリ領域に関しては、まだまだ、AIの恩恵を受けていると実感される方は少ないのではないかと思います。
このページを訪問してくださる方の中には、
「 機械学習を活用して何か出来ないか？ 」
と長年考え続けている方も多いのではないかと思います。
機械学習をリハビリ領域に応用する際には、まず、機械学習の特技について知る必要があります。
それは、与えられたデータを基に
✔︎ 予測すること
です。
研究者の視点としては、
・知りたい！やってみたい！
といった自分の興味や好奇心が一番大切ではないかと思いますが、ここで、
「 何を予測すると、自分や周りの方が嬉しい？または、役に立つだろうか？」
という質問を問いかけてみると、社会的な価値のある研究を考えられるのではないかと思います。
リハビリ領域の「予測」に関して考えてみると
・特定の領域で臨床経験が長い方が知っている「暗黙知」
・特定の症例の多い施設の臨床家が知っている「暗黙知」
などは、若いリハセラピストが毎年増え続けている日本のリハビリ業界の構造を考えると、その暗黙知を何かしらの形で外部化していただくことは、価値があるのではないかと思います。
暗黙知の活用例としては、
・予後予測
が挙げられます。
予後予測の中には、
・改善程度を予測（特定の評価指標）
・転帰を予測（例：自宅退院など）
などがあります。
特に、まだ慣れていない領域では、自分自身の予測精度が低いことで自信を持って働けていない臨床家もいるのではないかと察します。
2023年1月時点で、論文・図書・雑誌・博士論文などの学術情報で検索出来るデータベース・サービスの
で
などと検索してみると、リハビリ領域のAI活用に関して、少しずつではありますが、興味を持たれる日本人の方も増えてきているようでした。
以下に、参考までに、リハビリ領域のAI活用についての研究テーマ考える上で参考になりそうな情報をまとめておきます。
リハビリ領域のAI活用の研究テーマ例：
予測・分類系
リハビリ領域のAI活用事例：
FIM予測AI – 機械学習モデル LightGBM
日本でも既に、理学療法士の有資格者でAIエンジニア資格であるE資格を取得されている開発者の方により
・FIM予測AIアプリ
が公開されています。
・回復期病院を想定したFIM予測AIアプリ
（FIM予測AIアプリのコード）
tomoyasu-sano/portfolio_predict_fim | GitHub
＊ 2023年1月時点では開発者の方によるデモがなくなっているようでした
このサイトでは、FIM予測AIアプリをWindowsのパソコン環境で動かして使う方法を記事と動画で解説してありますので、興味のある方は参照していただけますと幸いです。
/predict-fim-ai-w/記事ページでは、FIM予測AIアプリの「臨床研究案・課題・応用の可能性」などについての私見もまとめておきました。
リハビリ領域のAI活用研究事例：
うつ病予測AI – 機械学習モデル LSTM + α
機械学習のディープラーニング（深層学習）の
✔︎ LSTM（Long short-term memory：長・短期記憶）
などを活用し、在宅高齢者のうつ病を予測。
出典：
A hybrid machine learning model of depression estimation in home-based older adults: a 7-year follow-up study | PubMed
在宅高齢者のうつ病推定のためのハイブリッド機械学習モデル：7 年間の追跡調査
BMC Psychiatry. 2022 Dec 21;22(1):816
Creative Commons Attribution (CC BY) license
【論文要約】
背景：
研究の目的は、2段階のハイブリッド機械学習モデルが、在宅高齢者のうつ病発症を発見する可能性があるかどうかを調査することです。
方法：
「China Health and Retirement Longitudinal Study（中国の健康と退職の縦断的研究）」で募集した在宅の高齢中国人（n = 2,548）のうつ病データ（2011年、2013年、2015年、2018年に収集）を活用しました。最初の2波のデータを活用して2015年の参加者のリスク因子を特定するために長・短期記憶（LSTM）ネットワークを適用しました。特定された予測因子に基づいて、3つの機械学習（ML）分類アルゴリズム（すなわち、勾配ブースティング決定木 – GBDT：Gradient Boosting Decision Tree、サポートベクターマシン – SVM：Support Vector Machine、ランダムフォレスト – RF：Random Forest）が、10回クロスバリデーション手順と曲線下面積（AUROC：Area Under ROC Curve – AUC：Area Under Curve ＊）の指標で評価され、うつ病の転帰を推定するために使用されました。
＊AUROC：ROC曲線の下側の面積
結果：
LSTMにより、うつ病の時間によって変化する予測因子がうまく同定されました（平均二乗誤差=0.8）。3つの予測モデルの平均AUROCは0.703から0.749の範囲でした。予測変数のうち、自己申告の健康状態、認知、睡眠時間、自己申告の記憶、ADL（日常生活動作）障害が上位5つの重要な変数でした。
結論：
LSTM+MLフレームワークに基づく2段階ハイブリッドモデルを活用することで、容易にアクセス可能な社会人口統計学的情報・健康情報のデータを基に、5年間のうつ病のロバスト（頑丈）な予測が出来ることがわかりました。
キーワード：
うつ病・在宅高齢者・LSTM・機械学習・予測
Keywords:
Depression; Home-based elderly; LSTM; Machine learning; Prediction.
リハビリ領域のAI活用研究事例：
表面筋電図センサー – 機械学習モデル LSTM
脳卒中片麻痺の手指のリハビリの1つであるミラー療法のニーズに対応するために、機械学習のディープラーニング（深層学習）の
✔︎ LSTM（Long short-term memory：長・短期記憶）
を用い筋力評価とトレーニングのための柔軟なsEMG（表面筋電図）センサーを開発。
出典：
Study on Flexible sEMG Acquisition System and Its Application in Muscle Strength Evaluation and Hand Rehabilitation | PubMed
フレキシブル（柔軟な）sEMG（表面筋電図）取得システムと筋力評価・手のリハビリテーションへの応用に関する研究
Micromachines（Basel）. 2022 Nov 22;13(12)
Creative Commons Attribution (CC BY) license
【論文要約】
筋活動を検出する表面筋電図（sEMG）に基づくウェアラブルデバイスは、手のリハビリテーションアプリケーションの開発に伴い、筋力の評価に使用することが出来ます。しかし、従来の取得装置は通常、操作が複雑で、より医療や科学的な応用シーンでの快適性に乏しいです。
この論文では、グラフェンを用いたフレキシブル（柔軟な）電極と信号取得用フレキシブル基板（FPC）を組み合わせたフレキシブルsEMG収集システムを報告します。
本システムは、ポリジメチルシロキサン（PDMS）基板とグラフェン転写技術を組み合わせて、フレキシブルsEMGセンサを開発しました。また、曲げや捻りなどの柔軟性を考慮したシングルリードsEMGセンサの設計とFPC基板の作製を行いました。
上記の設計手法を実証し、このフレキシブルsEMG取得システムでテストセットにおいて、98.81%の精度で筋力を予測するようにトレーニングした長・短記憶（LSTM）ネットワークの学習モデルを用いて、手のリハビリ応用へ拡張しました。また、本装置は良好な屈曲特性と快適性を示しました。
一般に、表面筋電図（EMG）信号を、患者が気に触らない状態で正確にモニターする能力は、医療従事者や患者にとって重要です。
キーワード：
フレキシブル（柔軟な）sEMG取得システム・筋力・リハビリテーション・単極誘導sEMG・ウェアラブルデバイス
Keywords:
flexible sEMG acquisition system; muscle strength; rehabilitation; single-lead sEMG; wearable devices.
リハビリ領域のAI活用研究事例：
動作分析・FMS（Functional Movement Screening）の自動評価 – 機械学習モデル CNN・LSTM
ディープラーニングの
✔︎ CNN（Convolutional Neural Network：畳み込みニューラルネットワーク）
✔︎ LSTM（Long short-term memory：長・短期記憶）
などを用いることで、自宅で行う自主トレのパフォーマンスの自動評価を行う基礎を築く。
このようなシステムは効率を高め、リハビリ中の怪我のリスクを軽減させる可能性を秘めている。
出典：
Automatic Assessment of Functional Movement Screening Exercises with Deep Learning Architectures | PubMed
機械学習のディープラーニング（深層学習）によるFMS（Functional Movement Screening）の自動評価
Sensors（Basel）. 2022 Dec 20;23（1）:5.
Creative Commons Attribution (CC BY) license
【論文要約】
（１）背景：
理学療法の成功は、監視のない状態で定期的に正しい動作運動を行うことにかかっています。これらの運動を自動的に評価するシステムは、在宅の自主トレにおける有効性を高め、怪我のリスクを低減することができます。この分野におけるこれまでのアプローチは、ディープラーニング（深層学習）の手法に依存することはほとんどなく、その秘めた力をまだ十分に活用出来ていません。
（２）方法：
17個の慣性計測ユニットからなる計測システムを用いて、4つの機能的動作スクリーニングエクササイズのデータセットを記録します。運動の実行は、理学療法士がFunctional Movement Screening（FMS）の基準を用いて評価します。このデータセットを用いて、運動の反復に正しいFMSスコアを割り当てるニューラルネットワークを学習します。我々は、畳み込み（CNN）層、長・期短期記憶（LSTM）層、密な層からなるアーキテクチャを使用しています。このフレームワークに基づいて、我々はネットワークのパフォーマンスを最適化するために様々な方法を適用しています。最適化のために、我々は広範囲なハイパーパラメータ最適化を行います。さらに、慣性計測データで使用するために特別に適応させた、異なる畳み込みニューラルネットワークの構造を比較しています。開発したアプローチをテストするために、異なるFMSのエクササイズからのデータで学習させ、既知と未知の被験者からのデータで性能を比較します。
（３）結果：
本アプローチは、未知の反復運動を正しく分類することが出来ることが示されました。しかし、未知の被験者のデータに対しては、学習したネットワークはまだ安定した性能を発揮することができません。また、学習させる運動によって、ネットワークの性能が異なることがわかりました。
（４）結論：
本研究では、提示したディープラーニングのアプローチが、慣性計測ユニットのデータに基づく複雑な動作解析タスクを実行出来ることを示しました。未知の被験者のデータで観察された性能低下は、古典的な機械学習手法に依存した他の研究グループの発表と同じです。しかし、ディープラーニングベースのアプローチでは、未知の被験者の数回の繰り返しによって分類器を再教育することが出来る転移学習を使用して問題に対処することができます。また、転移学習は、演習間の性能差を補正するために用いることも出来ます。
キーワード：
自動運動評価・深層学習・FMS（Functional Movement Screening）・IMU（慣性計測ユニット）・動作分析
Keywords:
automatic exercise evaluation; deep learning; functional movement screening; IMU; movement analysis
リハビリ領域のAI活用の研究テーマ例：
姿勢推定系
リハビリ領域のAI活用事例：
リハカツ – ソニーの姿勢推定・運動解析技術
機械学習について学んでいる理学療法士をはじめとしたリハビリ専門家の中には
「 リハビリ領域に姿勢推定の技術を応用出来ないか？ 」
と思われている方もいるのではないかと思います。
姿勢推定の応用に関しては、ソニーの姿勢推定・運動解析技術を活用した
・在宅リハビリ支援サービス「リハカツ」| 株式会社サプリム
＊ 株式会社サプリムは「エムスリー」と「ソニーグループ」の合弁会社
のサービスが、リハビリ領域のAI応用例の参考になるのではないかと思います。サービスは、2022年4月にリリースされています。
対象は、「座位保持可能」以上の身体レベルの方を想定しているようです。
全てAIに任せるという訳ではなく、出来ない所や分からない所などは、オンラインで理学療法士の方とやりとりが出来る仕組みになっています。
リハビリ専門家の方は、今後の働き方のあり方を考える上でも参考になるのではないかと思います。
リハビリ領域のAI活用研究事例：
姿勢推定 BlazePose – 肩関節・腰部の自主トレ分析
姿勢推定モデルの
✔︎ （MediaPipe）BlazePose（Google）
を活用した研究です。
分類するために、ディープラーニングの
✔︎ CNN（Convolutional Neural Network：畳み込みニューラルネットワーク）
を活用されています。
自宅での自主トレの状況を客観的に測定するためのツールはほとんどないので、スマホカメラを使い、様々な解剖学的位置でのエクササイズを検出・分類することの適合性を評価。機械学習を使い、肩関節と腰部の両方のエクササイズのビデオを分類するための概念実証システムを開発し、最適化してみたようです。
出典：
Physiotherapy Exercise Classification with Single-Camera Pose Detection and Machine Learning | PubMed
単一カメラの姿勢検出と機械学習による理学療法運動の分類
Sensors (Basel). 2022 Dec 29;23(1):363
Creative Commons Attribution (CC BY) license
＊ BlazePoseの論文・コード情報など：
BlazePose: On-device Real-time Body Pose tracking（17 Jun 2020）| Papers With Code
【論文要約】
理学療法を含むヘルスケアサービスの利用は、ますますバーチャルな形態で行われるようになってきています。理学療法プログラムの自宅でのアドヒアランス（＊）はしばしば悪く、参加度を客観的に測定するツールはほとんど存在しません。本研究の目的は、携帯電話（スマートフォン・スマホ）のカメラを用いて、家庭で行う腰部と肩関節の理学療法エクササイズをビデオベースで自動的にモニタリング出来るのか？その可能性を評価することでした。
オープンソースの姿勢検出フレームワークを用いて、健康な被験者が腰部と肩関節の理学療法エクササイズを行っている動画から関節位置を抽出しました。そして、理学療法エクササイズを分類するために、キーポイントとなる時系列データのセグメントに基づいたデータセットを畳み込みニューラルネットワーク（CNN）で学習させました。また、カメラ角度の変化に対するロバスト（頑丈）性に加えて、キーポイントの組み合わせの関数としてのモデルの性能が調査されました。
CNNモデルは、上半身と下半身の合計12個の姿勢推定ランドマークを使うことで、最適な性能を達成しました（腰部の運動分類：0.995 ± 0.009、肩関節の運動分類：0.963 ± 0.020)。様々な角度でCNNを学習させると、動画撮影角度のばらつきに対してモデルをロバスト（頑丈）にするのに効果的であることがわかりました。
本研究は、スマートフォンのカメラと教師あり機械学習モデルを用いて、自宅での理学療法参加を効果的に分類することの実現可能性を示しました。そして、様々な環境における理学療法運動プログラムの遵守状況を追跡するための低コストで拡張性のある（スケーラブルな）方法を提供出来る可能性があることを示しました。
＊ アドヒアランス：リハビリ専門家と患者の協力関係のもと、患者が主体的に治療に参加すること
キーワード：
人の活動の認識・機械学習・姿勢検出
Keywords:
human activity recognition; machine learning; pose detection.
リハビリ領域のAI活用研究事例：
姿勢推定 MediaPipe Poseなど – 作業療法臨床評価の視点で姿勢推定モデル比較
日本の方による研究です。
ディープラーニング（深層学習）ベースの姿勢推定モデル
✔︎ OpenPose（カーネギーメロン大学）
✔︎ AlphaPose（上海交通大学）
✔︎ MediaPipe Pose （Google）
を、作業療法士（OT）のリハビリ臨床への応用可能性を評価した結果、
✔︎ 処理速度
✔︎ 実装の容易さ（CPUで動作）
✔︎ 許容誤差範囲
を考慮し
✔︎ MediaPipe Pose （Google）
を使用。
＊ただし、評価動作による
出典：
Development and Verification of Postural Control Assessment Using Deep-Learning-Based Pose Estimators: Towards Clinical Applications | PubMed
深層学習ベースの姿勢推定モデルを使用した姿勢制御評価の開発と検証：臨床応用に向けて
Occup Ther Int. 2022 Nov 30;2022:6952999.
Creative Commons Attribution (CC BY) license
＊ 論文のコード情報：
decobocollabo/Postural-Control-Assessment（MIT license）| GitHub
【論文要約】
作業療法士は、クライアントの作業遂行を様々な側面から評価します。その中でも、姿勢制御はアセスメントを必要とする基本技能の一つです。近年、ディープラーニング（深層学習）を用いたアプローチにより、姿勢制御能力を推定する手法がいくつか提案されています。これらの手法では、クライアントが姿勢制御課題を行なっている動画を評価するだけで、自動的かつ高精度なきめ細かい定量的な指標を提供出来る可能性があります。しかし、これらの評価ツールの臨床への応用可能性については、さらなる検討が必要です。
今回の研究では、3つのディープラーニングを用いた姿勢推定モデルを比較し、姿勢推定の精度や処理速度の観点から臨床への応用可能性を評価しました。また、提案した姿勢制御の定量指標のうち、どれが作業療法士の臨床評価を最もよく反映しているかを検証しました。
ディープラーニング技術を用いたフレームワークは、従来の粗い指標と比較して、クライアントの姿勢制御をよりきめ細かく定量化する可能性を広げ、作業療法実践の向上につながる可能性があります。
リハビリ領域のAI活用研究事例：
姿勢推定 MediaPipe Hands – 末梢神経麻痺の手の肢位を自動検出
ランドマーク座標を
✔︎ MediaPipe Hands（Google）
で抽出したデータを基に機械学習で
・橈骨神経麻痺
・尺骨神経麻痺
・正中神経麻痺
の手の姿勢推定を実施したところ分類可能だった。
これはオンライン医療サービスや、遠隔医療のスクリーング方法になる可能性がある。
出典：
Automatic detection of abnormal hand gestures in patients with radial, ulnar, or median nerve injury using hand pose estimation | PubMed
手の姿勢推定を使用した橈骨神経・尺骨神経・正中神経損傷患者の異常な手の肢位の自動検出
Front Neurol. 2022 Dec 7;13:1052505
Creative Commons Attribution (CC BY) license
【論文要約】
背景：
橈骨神経、尺骨神経、正中神経損傷は一般的な末梢神経損傷です。これらは通常、手外科医が診断するための根拠として、手に各末梢神経の損傷で特異的な異常徴候を示します。しかし、専門的な知識がなければ、一次医療従事者がその異常の臨床的意味や潜在的な神経損傷を認識することは難しく、しばしば誤診につながることがあります。手指の異常な動きを自動的に検出する技術を開発することで、一般医療サービス従事者の早期診断・治療を支援することが期待されます。
方法：
専門家の経験に基づき、異常な肢位を検出するための3つの独立した二値分類課題として、あらかじめ特徴やルールが設定された3つの手の肢位を選択しました。スマートフォンを用いて、片側の橈骨神経、尺骨神経、正中神経を損傷した患者および健常ボランティアから手の画像を取得しました。Google MediaPipe Hands を用いてランドマーク座標を抽出し、特徴量を算出しました。特徴量の選択方法は、受信者動作（操作）特性曲線（ROC曲線）を採用しました。ロジスティック回帰 – LR：Logistic Regression、サポートベクターマシン – SVM：Support Vector Machine、ランダムフォレスト – RF：Random Forestなどのルールベースの機械学習モデルの性能を、精度、感度、特異度によって比較しました。
結果：
1,344枚の画像、22名の患者、34名のボランティアを対象としました。ルールベースモデルでは、最終的に8つの特徴量が選択されました。精度、感度、特異度はそれぞれ，橈骨神経損傷の検出では98.2、91.7、99.0％、尺骨神経損傷の検出では97.3、83.3、99.0％、正中神経損傷の検出では96.4、87.5、97.1％でした。全ての機械学習モデルにおいて、精度は95%以上、感度は37.5～100%の範囲でした。
結論：
今回の研究結果では、橈骨神経、尺骨神経、正中神経損傷の異常な手の肢位を、精度、感度、特異度など満足するレベルで検出できる有用なツールを提供しています。また，手の姿勢推定により、患者の手の画像から自動的に解析し、異常を検出出来ることが確認されました。これは、プライマリヘルスケア（＊）や遠隔医療アプリケーションのためのシンプルで便利なスクリーニング方法となる可能性を秘めています。
＊プライマリヘルスケア：
実施上の5原則
①住民のニーズに基づく方策
②地域資源の有効活用
③住民参加
④他のセクター（農業、教育、通信、建設、水など）との協調、統合
⑤適正技術の使用（②に含めることもある）
キーワード：
異常肢位検出・エキスパートシステム・手の肢位，手の肢位の推定・機械学習・末梢神経損傷
Keywords:
bnormal gesture detection; expert system; hand gesture; hand pose estimation; machine learning; peripheral nerve injury
リハビリテーション領域の研究テーマ案を公開中
PT・OT・STニュース.blogは、研究者・開発者に語りかける。
（バナーをクリックすると、「 PT・OT・STニュース.blogは、研究者・開発者に語りかける。」の記事一覧ページへリンクします）
リハビリテーション領域の研究者（大学院で修士・博士課程在籍者・志望者。Ph.D：博士など）や、理学療法士（PT）・作業療法士（OT）・言語聴覚士（ST）養成校の卒業研究の課題がある学生、企業のエンジニア、リハビリ機器開発者をはじめとした方々の、研究のネタ探しのお役に立てるように、「 PT・OT・STニュース.blog 」が考える、
「 こんなことを研究してくれる方や、支援機器・アプリケーションなどがあったらいいなあ 」
を公開していきたいと考えています。
今後投稿予定のリハビリ研究テーマやアイディアの中には、ただ、「 PT・OT・STニュース.blog 」の運営者が知らないだけで、すでに世の中に存在するものも、あるかもしれません。一連の記事を見ていただいた、研究者や開発者の方がいましたら、世の中の多くの方に認知してもらいやすいように、引き続き、しっかりとマーケティングをお願いします。
みなさんの叡智の結晶が、現代や未来の必要としている方々のお役に立ちますように