本文是一篇生物医学工程论文，本文针对ST-GCN对关键点关联性利用较差的问题，在人-物扩展关键点关系图的基础上，提出了人-物关键点匹配关系图，文中详细描述了基于序列匹配关系的匹配矩阵构造方法，并通过实验验证了其效果。
1 绪论
1.1 研究背景及意义
人口老龄化是现代社会普遍面临的一个问题。在一些国家，65 岁以上人口的数量已经超过年轻人口，到 2050 年，世界上每六个人中就有一人超过 65 岁（16%）。更为重要的是，预计到 2050 年，80 岁以上人口将超过 4 亿，是目前的三倍。随着全球老龄化的到来，伴随而来的还有一系列社会、金融和健康挑战[1]。随着人们年龄的增长，个人、社会和医疗保健需求也在增加，养老已成为人们关注的问题[2]。衰老虚弱是老年人必定会面临一个问题，各种身体、认知、心理、营养和社会因素都被认为是造成虚弱的原因[3]，老龄化的特点是身体和认知能力的逐渐丧失，日常生活活动能力减弱[4]。进食能力是日常生活活动能力中的重要一项，进食能力的强弱关乎老年人的生命健康，也关系着护理老年人所需要的人力开支等[5]。对老年人进食能力的掌握有助于医护人员评价老年人的健康状况，并根据不同的进食能力进行不同的监护安排，同时也有助于进食失能者的康复过程中的进食能力恢复程度评估。传统的医疗护理手段通过本地监护的方法来对老年人进行护理[6]，被监护人员必需在医院或相关护理机构进行评级、诊断、治疗以及监护，一般通过医生或者护士定期采集病人身体数据来进行复查，从而对相关日常生活能力，包括进食能力进行跟踪。该模式监护手段单一、监护周期长，还会产生高额的医疗护理费用，具有极其严重的不便性。
随着互联网的发展以及医护压力的增加，目前的老年护理趋势越来越倾向于允许或协助老年人在自己家中独立生活[7]。为了能够远程评估老年人的进食能力，需要对老年人进食过程进行拍摄并交由专门的人员进行评分，这同样需要耗费人力。同时，评分人员对于视频中老年人的进食能力的评估标准各异，对于同一个视频不同的专家有可能给出不同的评分结果，这取决于多种因素，比如评分人员的经验，主观的判断等等，并且居家养老会产生大量的评分视频，评分人员的评分也可能会出现错误，错误地对老年人的进食能力进行评分会对老年人的监护工作带来影响。针对上述问题，本研究的目的在于为远程监护中的基于视频的老年人就餐自理能力评级提供可参考的模型，研究老年人就餐自理能力智能化评级的可行性。
1.2 智能化进食检测研究现状
在早期的研究中，O. Amft, H.等人设计了一种惯性传感器网络[8]来获取上、下臂之间的运动关联，通过测量上、下臂间的角度来对所采集的惯性传感器数据进行分割，并采用隐马尔科夫模型 (Hidden Markov Model，HMM) 对进食姿态进行识别。N. Krishnan等人[9]融合加速度数据的统计特征、频谱特征以及加速度信号的一阶导数变化特征，通过机器学习的方法进行分类，并指出该方法能够节省计算成本。2014年，一种结合加速度计和陀螺仪的装置[10]被设计用来监测人在进食过程中手腕的直线运动和旋转运动，并通过朴素贝叶斯分类器对进食与未进食进行了二分类。除了使用加速度计和惯性传感器监测人的手臂、手腕运动以外，一些通过距离来区分进食的方法也表现出了一定的效果，文献[11]中通过在胸前放置距离传感器来监测胸部和手之间的距离，当有人手与胸部之间出现遮挡时被判断为可能的进食姿态。然而与传统的运动传感器相比这类传感器更加臃肿，难以适用实际评估过程。基于以上原因，人们开始研究通过捕捉人手势来进行进食行为识别的方法。Dawei Fan等人[12]设计了一种可穿戴于手指上的三轴加速度计和三轴陀螺仪来跟踪手指运动以检测进食动作。随着科技的发展，智能手表和智能手环的功能越发强大，很多都带有了惯性传感器。人们开始研究通过智能手环和手表中的监测数据对人进食行为的识别效果，然而Parate A等人[13]表示智能手表中的监测数据过于零散，从大量不相关的手势中分离出进食动作是一个巨大的挑战。Soroush Shahi等人[14]设计了一种内嵌在手表上的RGB摄像头，通过捕捉人进食时手到嘴的视频来对进食行为进行识别。Kheirkhahan, M. [15]提出了一个基于智能手表的实时在线评估和移动性监测框架，集成一个智能手表应用程序来与使用者进行交互，同时还建立了一个远程连接的服务器用于在线评估使用者的活动状态和可能的社交状态。此
2 老年人取食自理能力评级指标及模型
2.2 巴氏量表
近年来由于老龄化的到来，对老年人生活活动能力评估的研究开始逐渐多了起来，取食能力关乎着老年人的生活质量甚至生命健康，为了准确了解老年人的取食能力，合理的评估标准对于老年人取食自理能力的评估显得尤为重要。早在1965年，Barthel,D.等人就给出了用于评估患者日常生活活动能力的评估指标，巴氏量表[42]，该表将评估的项目分为10项，各项目根据患者完成该项目所需辅助程度的不同，给出对应的评分，其中取食能力评估共分为三级，分别是自主取食为10分，需部分辅助为5分，无法达到前两种状态为0分。Collin,C.等人[41]针对巴氏量表中部分评估指标的界定不明确问题，如取食过程中的部分辅助的界定，给出了指导标准，将部分辅助界定为能够自己寻找食物并取食，但是需要他人帮助切割食物。Lam,Simon C.等人[43]提出了一种简化巴氏量表(Simpliified Barthel Index, SBI)，并对300名来自香港的60岁以上老年人进行了实验，并评价了该表的效果。巴氏量表起源于国外，取食能力的评估指标更加倾向于使用刀叉的外国人，Sharron OC Leung等人[44]针对巴氏量表进行了改良，使其能够更加适用于对中国老年人进行日常生活活动能力评估。
最近几年，越来越多的研究将巴氏量表用在老年人相关的研究上。研究人员通过实验指出巴氏量表适用于评估住院老年人患者的康复中的身体功能变化，并指出巴氏量表的评估指标适于临床[45]。相关研究人员通过巴氏量表来评估感染COVID19前后的老年人日常生活活动能力，结果显示巴氏量表具有很好的评估效果。一种伊朗的巴氏量表也在伊朗地区被广泛推广使用[46]。综上所述，巴氏量表被广泛应用于老年人日常生活活动能力评估上，在老年人的日常生活活动能力评估上具有较好的和广泛认可的效果。巴氏量表将人的取食能力通过是否需要人员进行辅助分为三个等级，即自主取食，部分依赖，完全依赖。
2.3 改良的巴氏量表
巴氏量表的改良版本有许多，各个版本都针对不同的环境和任务进行了改良。本文中提到的改良的巴氏量表[44]为Leung, S. O. C等人于2007年提出的版本。改良的巴氏量表对各项评估项目进行了更加细致的能力等级划分，在取食方面，划分了五个等级，具体等级划分如下：
（1）完全依赖他人进行取食
（2）某种程度上能够使用餐具，通常是餐勺或筷子，但取食过程中需要他人帮助
（3）能够运用餐具，通常是餐勺或筷子，取食的某些过程需要他人的帮助
（4）除了受试餐具时需要帮助，病人可以自主取食，取食过程中需要人的提示以保证安全
（5）可以自主取食，不需要他人监督和帮助
改良的巴氏量表对取食能力评估进行了更加细致的划分，将适用于外国人的切割食物换成了能否运用餐具如餐勺等，对于辅助的分级也更加细化，这使得巴氏量表更加适用于中国的老年人的取食能力评估。
3 人体姿态估计和目标检测 ........................ 13
3.1 引言 .............................. 13
3.2 人体关键点检测 ................. 13
4 改进的行为识别算法 ..................... 27
4.1 引言 ......................... 27
4.2 ST-GCN行为识别网络原理 ................ 27
4.3 人-物扩展邻接矩阵 ........................ 30
5 老年人取食自理能力评级 .................................. 45
5.1 引言 ............................... 45
5.2 老年人取食自理能力评级数据集 .................................. 45
4 改进的行为识别算法
4.1 引言
在第三章中我们通过YOLO-Pose关键点检测算法得到了老年人就餐视频中每一帧的姿态信息，同时通过迁移学习训练得到的餐勺检测模型可以提取出每一帧的餐勺中心点信息，接下来就是选择合适的行为识别模型来利用这些信息。老年人取食行为分类依然是属于行为识别的范畴，模型需要能够识别出自主取食，部分辅助取食，完全辅助取食和未取食四种场景。传统基于骨架的行为识别方法通常依赖人工设计的特征，比如骨架关键点的位置、关键点之间的距离，骨架关节之间的角度等等。但人工设计的特征往往只能反映较为局限的信息，无法对姿态信息深入地利用。
伴随着深度学习地发展和突破，基于人体骨架关键点的行为识别模型也逐步发展。基于RNN的模型在时序建模方面的能力强，但RNN对于空间的建模能力较弱。基于GCN的方法将关节点视为图节点，通过建立关系图的方法使模型具有很强的空间建模能力。由于骨架数据是一种拓扑图结构，骨架的关节和骨架连接可以分别被视为图的点和边，而图模型对不规则形状的表示具有天然优势，因此近年来图神经网络 (GCN) 被广泛应用于基于骨架关键点的动作识别中。另外老年人取食过程不仅是人体参与的过程，过程中涉及到人物互动，基于GCN的方法
