Ultrathin and stretchable strain gauge array based on single-crystalline-silicon for silent speech recognition with deep-learning algorithm

다국어 초록 (Multilingual Abstract)

The development of modern medical science and technology has cured many diseases. However, disability for the five senses is still a problem that people around the world suffer from, and the number of people with disabilities registered in Korea is steadily increasing every year. Accordingly, many countries and organizations are conducting many studies to overcome obstacles.
Among them, we conducted a study to improve the communication problems of the hearing impaired. In the case of the deaf, most of the communication is carried out through sign language or handwriting, but there are cases where it is not possible depending on the situation. We developed the highly sensitive strain gauge array that reads facial muscle movements and a system that can be recognized by humans by classifying words through a deep learning algorithm. For patients who have lost their hearing due to a sudden accident, it takes a lot of time to learn sign language, but it is easy to communicate with others through this system. Through this skin-attachable stretchable strain gauge array, we not only provide a communication system for the deaf but also be applied as an excellent substitute in situations where the people cannot make sound.

국문 초록 (Abstract)

현대 의료과학 기술의 발달은 많은 질병들을 치료해왔다. 하지만 오각에 대한 장애는 여전히 전세계 사람들이 고통받고 있는 문제이며, 한국에서 등록되는 장애인 수는 매년 꾸준히 증가하고 있다. 이에 여러 국가 및 단체들은 장애를 극복하기 위한 많은 연구가 진행되고 있다.
우리는 그 중 청각장애인의 의사소통 문제 개선을 위한 연구를 진행하였다. 농아인의 경우 대부분 수화나 수기를 통한 의사소통을 진행하고 있지만 상황에 따라 불가능한 경우가 존재한다. 우리는 얼굴 근육 움직임을 높은 민감도로 읽어내는 스트레인 게이지 어레이를 제작하고 딥러닝 알고리즘을 통해 단어를 분류하여 사람이 인식할 수 있는 시스템을 개발하였다. 갑작스러운 사고로 인해 청각을 잃게 된 환자의 경우 수화를 익히는데 굉장히 많은 시간이 필요하지만 이 시스템을 통한다면 쉽게 다른 사람과의 의사소통이 가능하다. 우리는 이러한 피부부착형 신축성 스트레인 게이지 어레이를 통해 농아인들을 위한 의사소통 시스템을 제공할 뿐만 아니라, 일반인들이 발성을 할 수 없는 상황에서도 훌륭한 대체제로써 적용될 것이다.

목차 (Table of Contents)

• Contents
• Contents ⅰ
• List of Figures ⅲ
• Abstract ⅴ
• 1. Introduction 1
• 1.1 Motivation 1
• 1.2 Objective 2
• 1.3 Theoretical background 3
• 1.4 Contribution 4
• 2. Gauge factor of Silicon 5
• 2.1 Bending test 5
• 2.2 Doping test 6
• 3. Mesh & serpentine structure 8
• 4. Fabrication of Silicon strain sensor 9
• 4.1 Silicon nanomembrane transfer process 9
• 4.2 Fabrication process of 16 channel strain sensor 11
• 4.3 Device attachment and Strain recognition feasibility 13
• 5. Device segmentation 15
• 5.1 Fabrication process of 2 channel strain sensor 15
• 5.2 Stretching test 17
• 5.3 Device attachment and strain data acquisition 19
• 6. Deep learning-based words recognition 21
• 7. Conclusion 24
• 8. Reference 26
• Abstract in Korean 28