Design and Application of Deep-learning Artificial Neural Network for Human Motion and Posture Analysis ; 인체 동작 및 자세 분석을 위한 심화 학습 인공신경망 설계 및 적용
학위논문 (박사) -- 서울대학교 대학원 : 공과대학 산업·조선공학부, 2020. 8. 윤명환. ; Ergonomic research is conducted through observation, measurement, and analysis. Ergonomic research has also been developed due to the development of technologies related to observation, measurement, and analysis. Deep-learning technology is a core technology for artificial intelligence development. Various attempts have been made to complement and replace human capabilities like observation, measurement, and analysis, using deep-learning technologies. This deep-learning technology can be applied to various stages of the ergonomic research process. Therefore, in this research, various attempts were made to prepare methods for applying deep-learning to ergonomic research. This thesis attempted to analysis via deep-learning to various kinds of data, such as numerical data, image data, and video data. Besides, to identify the characteristics of data that can be applied to deep-learning, different data collecting methods were applied. The data types were data collected for deep- learning, data collected without considering deep-learning, and data collected and released by the government. The first research is to detect sitting posture from body pressure distribution data. Back health is closely related to the user's sitting posture, so it is crucial to have a good sitting posture when young. In a controlled environment, body pressure distribution image data for seven postures were collected from children. The deep-learning method used for posture classification is a convolutional neural network (CNN). The classification performance of logistic regression and CNN is compared. As a result, CNN showed a 20% improvement over logistic regression in the overall classification performance. The second research is to derive work risk assessments using assembly process videos. The data used in the study were those used in the work risk assessment. The performance was evaluated by applying LSTM, one of the deep- learning methods, to the work risk assessment methods OWAS, RULA, and REBA. As a result, when performing OWAS with deep-learning, it showed better performance than RULA and REBA. The third research estimates the stature from hand dimensions. The data used in this research were investigated and released by the government. In the previous study, the stature was estimated from hand dimensions using linear regression. Linear regression, RNN, and the recursive generalized linear model (RGLM) were applied to compare the performance of stature estimation. As a result, deep learning techniques RNN and RGLM performed better than linear regression. Through three research, it was confirmed that the deep-learning method could replace the existing research method. Although the absolute performance was not excellent, it showed relatively good performance than the existing method. The deep-learning method was different depending on the data format and condition. The performance difference also occurred according to the kind of deep-learning method. If the various cases were not learned, no results were obtained for the missing parts. Therefore, data selection and pre-processing must be preceded while applying deep-learning. In ergonomic research, deep-learning will make it easy to reflect the results of ergonomic research into reality. Deep-learning will not replace the researcher but will broaden the research subject's scope and make the research results widely available. ; 인간공학 연구는 관찰, 측정, 분석을 통해 이루어진다. 관찰, 측정, 분석과 관련된 기술의 발달로 인해 인간공학 연구 역시 발달해 왔다. 딥러닝 기술은 인공지능 개발을 위한 핵심기술이다. 딥러닝을 활용하여 인간의 관찰, 측정, 분석 능력을 보 완하고, 대체 하려는 다양한 시도들이 이루어지고 있다. 이러한 딥러닝은 인간공학 연구 과정의 다양한 단계에 적용될 수 있다. 이에, 본 연구에서는 인간공학 연구에 딥러닝을 응용할 수 있는 방안을 마련하기 위해 다양한 시도를 하였다. 본 연구에서는 수치 데이터, 이미지 데이터, 영상 데이터와 같은 다양한 형태의 데이터를 대상으로 딥러닝을 적용하려는 시도를 하였다. 또한, 딥러닝을 적용할 수 있는 데이터의 특성을 파악하기 위해 데이터 수집형태를 달리 적용했다. 그 데이 터 형태는 딥러닝을 위해 수집된 데이터, 딥러닝을 고려하지 않고 수집된 데이터, 정부가 수집해 공개한 데이터이다. 첫 번째 연구는 체압분포 데이터로부터 앉은 자세를 감지하는 것이다. 허리 건강은 앉은 자세 습관과 밀접하므로, 어렸을 때 좋은 앉은 자세를 갖게 하는 것이 중요하다. 어린이를 대상으로 통제된 환경에서 7가지 자세에 따른 압력분포 이미 지 데이터가 수집되었다. 자세 분류에 사용한 딥러닝 방법은 합성곱 신경망(CNN) 이며, 로지스틱 회귀 (logistic regression)와 그 분류 성능을 비교하였다. 그 결과, 전체 분류 성능에서 CNN이 로지스틱 회귀보다 20%가량 향상을 보여주었다. 두 번째 연구는 조립 공정 영상으로부터 작업 위해도 평가 결과를 도출하는 것 이다. 딥러닝을 위해 준비된 데이터가 아닌, 작업 위해도 평가를 위해 촬영되었던 영상 데이터와 평가 결과를 대상으로 하였다. 작업 위해도 평가를 위해 사용되는 OWAS, RULA, REBA 세 가지 평가 방법에 딥러닝 방법인 LSTM을 적용하여 그 성능을 비교하였다. 그 결과, 딥러닝으로 OWAS 평가를 했을 때, RULA, REBA에 비해 좋은 성능을 보여주었다. 세 번째 연구는 손의 여러 치수로부터 키를 추정하는 것이다. 정부 단위로 조 사하여 공개한 데이터를 대상으로 하였다. 기존 연구에서는 선형회귀를 이용하여 손의 수치로부터 키를 추정하였다. 이에 본 연구에서는 딥러닝 방법인 RNN과 재 귀적 일반화 선형 모형 (RGLM)을 적용하여 그 추정 성능을 비교하였다. 그 결과, RGLM과 RNN은 선형회귀에 비해 좋은 성능을 보여주었다. 세 연구를 통해, 딥러닝 방법이 기존의 연구 방법을 대체할 수 있음을 확인하 였다. 절대적인 성능이 좋지는 않았지만, 기존 방법보다 상대적으로 좋은 성능을 보여주었다. 데이터 형식에 따라 적용할 수 있는 딥러닝 방법이 달랐으며, 딥러닝 방법에 따라서도 성능 차이가 발생했다. 다양한 케이스에 대해 학습이 되지 않은 경우, 누락된 부분에 대해서는 결과를 도출하지 못했다. 따라서, 딥러닝 적용에는 데이터 선별 및 가공이 선행되어야 한다. 인간공학 연구에 있어서, 인간공학 연구 결과물이 딥러닝을 통해 현실에 쉽게 반영될 수 있을 것이다. 딥러닝은 연구자를 대체하는 것이 아니라 연구 대상 범위와 활용 범위를 넓혀줄 것이다. ; Chapter 1 Introduction 1 1.1 Research Background 1 1.2 Purpose of This Study 4 1.3 Organization of the thesis 5 Chapter 2 Literature Reviews 9 2.1 Sitting Posture 9 2.2 Working Posture Measurement 15 2.3 Anthropometric Dimension Estimation 20 2.4 Deep-learning Application 22 Chapter 3 An Ergonomic Analysis of Seated Posture using a Deep-learning Method 25 3.1 Overview 25 3.2 Data Characteristics 26 3.2.1 Body Pressure Distribution on Seat Cushion 26 3.2.2 Data Collection 27 3.2.3 Data Pre-processing 29 3.3 Data Analysis 32 3.3.1 Convolutional Neural Network 32 3.3.2 Performance Comparison Method 34 3.4 Results 36 3.4.1 Logistic Regression 36 3.4.2 Convolutional Neural Networks 39 3.4.3 Comparison of Logistic Regression Results and Convolutional Neural Networks Results 42 3.5 Discussion 44 Chapter 4 Applying Deep-learning Methods to Human Motion Analysis of Automobile Assembly Tasks 47 4.1 Overview 47 4.2 Data Characteristics 48 4.2.1 Work-related Musculoskeletal Disorders(WMSDs) in FactoryWorkers 48 4.2.2 Data Collection 49 4.2.3 Data Pre-processing 50 4.3 Data Analysis 52 4.4 Results 52 4.4.1 OWAS Prediction Model 52 4.4.2 RULA Prediction Model 53 4.4.3 REBA Prediction Model 54 4.5 Discussion 55 Chapter 5 Estimation of Hand Anthropometric Dimensions Using a Deep-learning Method 59 5.1 Overview 59 5.2 Data Characteristics 60 5.2.1 Size Korea; A National Anthropometric Survey of Korea 60 5.2.2 Hand Anthropometric Measurement Data 61 5.2.3 Data Selection and Hand Dimension 62 5.2.4 Training Data and Test Data 64 5.3 Data Analysis 65 5.4 Result 66 5.4.1 Comparison of Relative Absolute Error(RAE) 68 5.4.2 Comparison of Relative Squared Error(RSE) 70 5.4.3 Comparison of Mean Absolute Percentage Error(MAPE) 72 5.4.4 Comparison of Mean Absolute Scaled Error(MASE) 74 5.4.5 Comparison of Root Mean Square Error(RMSE) 76 5.4.6 Comparison of Mean Absolute Error(MAE) 78 5.4.7 Comparison of Mean Squared Error(MSE) 80 5.4.8 Clustering the Results Along with the Performance 82 5.5 Discussion 83 Chapter 6 Discussion and Conclusions 87 6.1 Summary of findings 87 6.2 Contributions of this study 89 6.3 Limitations and further studies 92 Bibliography 95 Appendix A Confusion Matrix from Chapter III 104 Appendix B Python Code for Chapter III 125 Appendix C Python Code for Chapter IV 129 Appendix D Python Code for Chapter V 141 ; Doctor