비전 인텔리전스 기반 건설안전 모니터링을 위한 실행 프레임워크

짠 반 티엔 시 중앙대학교 대학원 2024 국내박사

Construction safety monitoring is crucial to preventing accidents and injuries on construction sites. One of the emerging technologies that can assist in this task is computer vision, which uses images or videos to analyze and extract relevant information from scenes. Computer vision can automate the detection of unsafe conditions and behaviors, such as workers not wearing proper personal protective equipment (PPE), being too close to heavy machinery, or performing risky actions. However, the construction site has various potential hazard situations during the project. Due to its complex nature, many visual devices simultaneously participate in the monitoring process. Therefore, it challenges developing and operating corresponding AI detection algorithms at specific workplaces and times. Besides, safety information from computer vision must be organized before being delivered to stakeholders. Hence, this study proposes an implementation framework for construction safety monitoring using vision intelligence technology and spatial-temporal analysis through 4D BIM, called CMVB. The CMVB comprises three modules: (1) the site profile module (SPM), which builds the databases that support computer vision-based safety monitoring; (2) the Site observation Module (SOM), which applies CV algorithms to monitor safety situation during a construction project, and (3) the Information delivery Module (IDM) based on the BIM system to visualize and deliver the risk level to related employees. The efficiency of the CMVB framework is validated by testing with the preliminary implementation at the ConTI Lab of building 208, located at Chung-Ang University. 건설 안전 모니터링은 건설 현장에서 발생하는 사고와 부상을 예방하기 위해 매우 중요하다. 컴퓨터 비전 기술은 이러한 작업을 사진 또는 영상을 사용하여 관련 정보를 분석하고 추출할 수 있으며, 작업자의 적정한 개인보호구(PPE) 미착용, 중장비에의 근접, 위험한 행동의 수행 등, 위험한 상태 및 행동 판별을 자동화할 수 있다. 그러나, 건설 현장은 프로젝트 과정에서 다양한 잠재적 위험 상황이 발생하며, 이러한 현장의 복잡한 특성으로 인해 많은 시각 장비들이 모니터링 과정에 동시에 참여하게 된다. 따라서, 특정 작업 공간 및 시점에서 이에 해당하는 AI 감지 알고리즘을 개발하고 운영하는 데 어려움이 있다. 또한 컴퓨터 비전 기술을 통해 습득한 안전 정보는 이해관계자에게 전달되기 전에 체계화되어야 한다. 이에 본 연구는 비전 인텔리전스를 통한 건설 안전 모니터링 및 4D BIM 기반 시공간 분석을 위한 CMVB라는 구현 프레임워크를 제안한다. CMVB는 (1) 컴퓨터 비전 기반 안전 모니터링을 지원하기 위해 데이터베이스를 구축하는 현장 프로파일 모듈 (SPM), (2) 건설 프로젝트 동안 컴퓨터 비전 알고리즘을 안전 모니터링 상황에 적용하는 현장 관찰 모듈 (SOM), (3) BIM 시스템을 기반으로 위험 수준을 시각화하여 관련 작업자에게 전송하는 정보 전달 모듈 (IDM)의 세 가지 모듈로 구성된다. CMVB 프레임워크의 효율성은 중앙대학교에 위한 208동의 ConTI Lab에서 예비 구현을 통한 테스트를 통해 검증된다.

CBISIS: Computer vision and Blockchain integrated construction Safety Inspection System

김도형 중앙대학교 대학원 2023 국내석사

건설 현장은 불확실하고 지속적으로 변화하는 작업환경을 가지고 있다. 이는 작업자들의 부상 및 사망을 야기할 수 있는 위험한 환경을 조성하곤 한다. 이로 인해, 건설 현장의 안전 관리에 있어 현장 안전점검은 현장 안전을 확보하기 위한 안전관리자의 가장 중요한 업무로 여겨지고 있다. 허나, 건설안전점검은 많은 안전 관리 인력과 시간의 투입을 요하고 오류가 발생하기 쉽다는 문제점들을 내포하고 있다. 이러한 건설안전점검의 문제를 해결하고자, 현장 이미지로부터 많은 양의 정보를 효율적이고 효과적으로 얻어낼 수 있는 컴퓨터 비전이 강력한 해결책으로서 대두되었다. 그럼에도 불구하고, 현재까지 진행된 컴퓨터 비전 기반의 건설안전점검 관련 연구들은 건설안전점검 과정 및 그 과정에서 생성된 데이터 관리에 있어, 컴퓨터 비전을 통해 생성된 점검 결과를 통한 현장 안전점검 관리 방안의 제시가 부족하며, 그 과정은 물론 생성된 데이터의 신뢰성이 부족하다는 한계가 여전히 존재한다. 따라서, 본 연구에서는 기존 컴퓨터 비전 기반의 건설 현장 안전점검의 한계점들을 해결하기 위해, 데이터 신뢰성을 보장하고, 스마트 컨트랙트를 통해 자동적인 공정 및 데이터 관리가 가능한 블록체인을 도입하고자 한다. 제안된 시스템에서, 작업자는 안전관리자 및 스마트 컨트랙트에 의해 생성된 안전점검 지시 내용을 하달받는다. 이에 따라 작업자는 현장을 점검하고, 분산형 어플리케이션을 통해 점검 결과를 촬영하고 이미지 관리 모듈에 업로드한다. 이후 이미지 관리 모듈은 객체 탐지 모델을 포함한 내장 기능들을 통해 현장 사진으로부터 현장 안전상태를 자동적으로 추출해 내며, 이를 안전점검 결과의 형태로 블록체인 네트워크에 저장한다. 또한, 블록체인 네트워크에 구축된 스마트 컨트랙트 및 보증 정책은 관계형 데이터 모델 및 프로세스 모델들을 활용하여, 전체 현장 안전점검에 있어서 자동화되고 체계적인 프로세스 및 데이터 관리를 제공한다. 본 연구는 프레임워크의 타당성과 적용 가능성을 입증하기 위한 일련의 사례 연구로서, 프로토타입 시스템을 개발하였으며, 이를 사용하여 실제 건설현장에서 안전점검을 수행하였다. 그 결과, 프로토타입 시스템은 프로세스 및 데이터 관리 측면에서 본 연구의 목표에 따라 현장 안전 조건을 자동으로 판별하고, 체계적으로 의사결정을 진행하며, 데이터 관리의 신뢰성을 확보하여 궁극적으로 건설현장 안전점검 프로세스 및 데이터 관리를 개선하였음이 확인되었다. Construction sites, which are uncertain and constantly changing, usually involve potential hazards that endanger workers in occupational accidents. Thus, safety inspections have been regarded as the most critical responsibility in site safety management regarding identifying, eliminating, and reporting potential hazards. Besides, because construction safety inspections require much staffing and time and are error-prone, computer vision has emerged as a robust solution for replacing traditional safety inspection practices by automatically analyzing site images and extracting information. Nevertheless, research in computer vision-based construction safety inspection still has limitations regarding a lack of management-level applicability and reliability in process and data management. Therefore, this study proposes a computer vision and blockchain integrated construction safety inspection system (CBISIS) to address these limitations. In the CBISIS, site safety conditions are inspected by workers who got safety inspection instructions created by smart contracts or safety managers. Workers then take photos of site safety conditions and upload them to the image management module. The image management module then automatically extracts safety conditions from uploaded photos by analyzing them using embedded features, including object detection models, and uploads them into the blockchain network as a safety inspection result. Additionally, smart contracts and endorsement policies deployed in the blockchain network provide automated and systematic processes and data management throughout the entire safety inspection. A case study was undergone at a site using the implemented prototype CBISIS to demonstrate its feasibility and adaptability. Results indicate that CBISIS provides reliable data storage and allows traceably shared data, strongly controlled data access, computationally detected site safety conditions, automatically and systematically managed safety inspection processes, and systematically supported and offered decision-making.

Deep vision-based occupant-centric control for HVAC systems

최하늘 Graduate School, Yonsei University 2022 국내박사

건물은 에너지를 소비하지 않는다. 에너지를 소비하는 것은 재실자이다. 최근 정보통신 기술의 발전으로 재실자 정보를 검출하고, 이를 냉난방공조 시스템 제어에 활용하는 것이 가능해졌다. 이런 제어 방법을 재실자 중심 제어라고 부르고 있으며, 재실자 중심 제어의 에너지 절약 가능성 및 실내 환경 질 향상 효과가 지속적으로 보고되고 있다. 재실자 중심 제어는 재실자 정보를 센싱하는 데서 시작한다. 여러 센서 및 기술 중 카메라와 컴퓨터 비전의 조합은 정확도 높고 안정적인 기술로 알려져 있다. 특히, 컴퓨터 비전은 딥 러닝이 적용되면서 성능이 비약적으로 상승했으며, 자율주행 자동차, 자동 물품 검수 등 다양한 분야에서 활용되고 있다. 이는 근 미래에 건축 환경에서도 딥 러닝 기반 컴퓨터 비전(이하 딥 비전)을 이용한 재실자 중심형 공조 제어가 실현될 수 있음을 시사한다. 본 연구는 이런 가능성에서 시작됐다. 본 학위논문은 딥 비전을 이용한 재실자 중심형 공조 제어의 실현에 세가지 주요한 기여를 한다: 포괄이고 체계적인 리뷰, 딥 비전을 이용한 재실 기반 제어의 구현, 딥 비전을 이용한 쾌적 기반 제어의 구현. 먼저, 컴퓨터 비전을 이용한 91건의 관련 연구들에 대해 포괄적이고 체계적인 리뷰가 수행됐다. 이 리뷰는 재실자 중심 제어에 있어 전통적인 컴퓨터 비전의 한계와 딥 비전의 미래 활용 가능성을 제시했다. 다만, 현재의 딥 비전을 이용한 연구들은 개념적인 단계에 머무르는 것으로 드러났다. 따라서 딥 비전을 이용한 재실자 중심 제어가 실현되기 위해서는 다음의 연구가 요구됐다: (i) 딥 비전을 이용한 재실 기반 제어의 구현과 에너지 절약 가능성의 증명, (ii) 딥 비전을 이용한 쾌적 기반 제어의 구현과 쾌적 향상의 증명. 이후의 연구들은 이런 필요를 채우기 위해 수행됐다. 이에 따라, 딥 비전을 이용한 재실 기반 제어가 구현됐다. 여기서 본 연구는 대표적인 재실 정보인 재실자 수에 집중했다. 최신 딥 비전 모델을 이용하여 실용적인 재실자 수 추정 방법을 제시했으며, 8개 오피스에서의 실험을 통해 이 방법이 높은 정확도로 재실자 수를 추정할 수 있음을 증명했다. 정규화된 평균 제곱근 오차는 0.04–0.23였다. 또한 시뮬레이션 결과는 재실 기반 건물 제어가 국내 오피스에서 건물 에너지를 절약하는데 효과적일 수 있음을 보여줬다(최대 10.2%). 나아가, 딥 비전을 이용한 환기 시스템 제어 알고리즘을 제시하고 실 환경에서 성공적으로 구현했다. 구현된 제어는 재실자 수에 따라 외기 도입율을 동적으로 조절할 수 있었다. 실험 결과는 재실 기반 제어가 전통적인 제어(예컨대, 스케쥴 기반 또는 이산화탄소 기반 제어)에 비해 적정 공기 질을 유지하면서도 난방 기간의 건물 에너지 소비를 저감시킬 수 있음을 증명했다. 마지막으로, 딥 비전을 이용한 쾌적 기반 제어가 구현됐다. 여기서 본 연구는 대표적인 쾌적 관련 정보인 대사량과 착의량에 집중했다. 본 연구는 딥 비전을 이용한 활동 및 의복조합 분류 모델을 개발하고 활동과 의복조합을 대사량과 착의량으로 변환하는 알고리즘을 제시했다. 이 방법은 인간의 개입 없이 완전 자동화된 대사량 및 착의량 추정을 가능하게 했다. 실험 결과는 이 방법이 정확하고 안정적으로 대사량과 착의량을 추정할 수 있음을 보여줬다. 가상의 시나리오에서 착의량만의 추정 정확도는 86%, 대사량과 착의량의 통합 추정 정확도는 100%를 기록했다. 나아가, 딥 비전을 이용한 냉난방 시스템 제어 알고리즘을 제시하고 건축 환경에서 성공적으로 구현했다. 구현된 쾌적 기반 제어는 대사량과 착의량에 따라 냉난방 시스템의 설정 온도를 동적으로 조정할 수 있었다. 실험 결과는 쾌적 기반 제어가 고정 온도 제어에 비해 재실자의 열 쾌적을 상당히 향상시킬 수 있음을 증명했다. 본 학위논문은 과거 구현된 사례가 거의 없었던, 딥 비전을 이용한 재실자 중심 제어의 실현 가능성 및 효과를 증명했다는 점에서 가치가 있다. 본 연구의 결과는 최신 정보통신 기술을 냉난방 공조 제어에 적용할 때 참고자료로 활용될 수 있다. 궁극적으로 본 연구가 건물 에너지 효율 및 실내 환경 질 향상에 기여하기를 기대한다. Buildings do not use energy; occupants do. With the development of information and communication technology (ICT), it has become possible to detect and collect current occupant information and utilize this for heating, ventilation, and air-conditioning (HVAC) system control. This control method is called occupant-centric control (OCC); the energy-saving potential of OCC and the effects of improving the indoor environment quality have been continuously reported. The OCC starts by sensing occupant information. Among several sensors and technologies, the combination of a camera and computer vision is highly accurate and reliable. In particular, computer vision has dramatically increased in performance, as deep learning has been applied and used in various fields, such as autonomous vehicles and automatic product inspection, suggesting that OCC using deep-learning-based computer vision (hereafter, deep vision) can soon be realized even in a built environment. This possibility lays the foundations for this dissertation. The dissertation makes three significant contributions to the realization of deep vision-based OCC for HVAC systems in the built environment: a comprehensive and systematic review, implementation of occupancy-based control using deep vision, and implementation of comfort-based control using deep vision. First, 91 OCC studies that use computer vision are comprehensively and systemically reviewed. This review presents the limitations of traditional computer vision and future applications of deep vision in OCC. However, it has been highlighted that the current studies using deep vision are limited to conceptual OCC. Therefore, to realize OCC using deep vision, the following studies are required: (i) implementation of occupancy-based control using deep vision and demonstration of energy-saving potential; (ii) implementation of comfort-based control using deep vision, and demonstration of comfort improvement. Subsequent studies have addressed these issues. Accordingly, in this study, an occupancy-based control using deep vision was implemented. Here, I focus on representative occupancy information and number of occupants. I present a practical occupancy counting method using a state-of-the-art deep-vision model. Experiments in eight offices demonstrated that the proposed method could accurately estimate the number of occupants. The normalized root mean square error was 0.04–0.23. The simulation results demonstrated that occupancy-based building control could be effective in saving energy (up to 10.2 %) in small offices. Furthermore, a ventilation system control algorithm using deep vision was successfully presented and implemented. The implemented control dynamically modulated the outdoor airflow rate based on the number of occupants. The experimental results showed that, compared to traditional controls (i.e., scheduled, CO2-based on/off control), this control algorithm could reduce the energy consumption in the heating season while maintaining acceptable indoor air quality. Lastly, a comfort-based control using deep vision was implemented. Here, I focus on representative comfort-related information, metabolic rate (MET), and clothing insulation (CLO). I developed an activity and clothing ensemble classification model using deep vision and presented an algorithm that converts activity and ensembles into MET and CLO. This method enabled fully automated MET and CLO estimations without the need for human intervention. The experimental results showed that the method could accurately and reliably estimate MET and CLO. In the hypothetical scenario, the estimation accuracy of CLO alone was 86%, and that of MET and CLO was 100%. Furthermore, I presented a heating and cooling system control algorithm using deep vision, and successfully implemented this in a built environment. The comfort-based control dynamically adjusted the set-point temperature in response to the MET and CLO. The experimental results demonstrated a significant improvement in the occupant thermal comfort, as compared to fixed temperature control. This dissertation is valuable in that it demonstrates the feasibility and effectiveness of deep vision-based OCC, which has been rarely implemented in a built environment. The results of this study can be used as a reference for building managers or designers to practically apply the latest ICT to control HVAC systems. Ultimately, it is expected to make a substantial contribution to improving the building energy efficiency and indoor environmental quality.

Efficient and Adaptive Computer Vision for Cyber-Physical Systems

Lan, Shuyue Northwestern University ProQuest Dissertations & T 2021 해외박사(DDOD)

With the rapid advancement of machine learning techniques (in particular deep neural networks), computer vision applications have shown great promises in a variety of domains for intelligent cyber-physical systems (CPSs), such as autonomous driving, medical imaging, and vision-based robotic systems. However, while many vision applications provide great on-paper performance, their system realizations still face significant challenges and often fall short of the expectations in practice. In particular, vision-based intelligent systems often operate in a dynamic and uncertain environment, with changing mission requirements, and based on limited resources of computation, communication, data storage and energy availability. Moreover, the vision algorithms themselves are usually computationally intensive and resource hungry. This presents tremendous challenges in ensuring the system performance, efficiency, safety, robustness and predictability in operation. These challenges promote the development of methodologies, algorithms and tools for building real-world efficient and adaptive vision-based intelligent systems.In this dissertation, to improve the efficiency of vision-based CPSs, we start from the single-agent adaptation design. On the one hand, we hope to select the minimal set of data that should be analyzed to meet the scene understanding objective. Hence,we develop an efficient online video fast-forwarding approach (FFNet) based on reinforcement learning, which can automatically fast-forward a video and present a representative subset of frames to users on the fly. It does not require processing the entire video, but just the portion that is selected by the fast-forward agent, which makes it very computationally efficient. On the other hand, to handle the various factors of vision application environment, a framework that can adaptively select the algorithm-parameter combinations according to the changing physical environment, mission requirements, and resource constraints is developed, with the application of pedestrian detection. We then consider multi-agent applications, which have recently gained immense popularity. In many computer vision tasks, a network of agents, such as a team of robots with cameras, could work collaboratively to perceive the environment for efficient and accurate situation awareness. However, these agents often have limited computation, communication, and storage resources. To address these challenges in multi-agent systems, we develop a distributed framework DMVF and a centralized framework MFFNet for multi-agent video fast-forwarding. Both methods can fast-forward multi-view video streams collaboratively and adaptively. We also consider energy-harvesting, intermittently-powered sensors that have emerged as a zero maintenance solution for long-term environmental perception. These devices suffer from intermittent and varying energy supply. Therefore, we further develop an adaptive environment monitoring framework, AdaSens, which adapts the operations of intermittently-powered sensor nodes in a coordinated manner to cover as much as possible of the targeted scene.

Visual Display Unit 사용을 위한 중근용 누진 가입도 렌즈의 성능평가

김학준 을지의과대학교 보건대학원 2007 국내석사

본 연구는 노안교정이 요구되는 사람이 Visual Display Unit를 사용할 때 느끼는 Computer Vision Syndrome에 대해 알아보고, 누진 가입도 안경이나 근용 단초점 안경을 사용하다가 중근용 누진 가입도 렌즈로 바꾸었을 때 증상의 변화 및 만족도의 개선 여부를 평가하고자 한다. 서울보건대학에 근무하는 교직원 가운데 본 연구의 취지에 동의한 45~64세 사이의 55명(남 46명, 여 9명)을 대상으로 선정하였다. 1차 방문시 자각식 굴절검사와 근용 가입도를 측정하여 중근용 누진 가입도 안경을 처방하고 설문조사를 실시하였다. 2차 방문시 안경의 사용방법을 숙지시키고 1개월간 컴퓨터 작업을 하는 동안 실험용 안경을 착용하도록 권고했고 1개월 후 2차 설문조사를 실시하였다. 컴퓨터 작업 시 느끼는 전반적인 시기능 및 눈의 불편함과 관련된 시각적인 문제(Vision Problem)에 대한 항목의 평균 점수는 1차 설문에서 3.69± 0.65였고, 2차 설문에서 4.50±0.91로 0.54±0.87 만큼 유의하게 증가하였다(t=-9.23, p=0.00). 컴퓨터 작업 시 느끼는 심리적인 위축 및 부담과 관련된 심리적 안녕(Psychological Well-being)에 대한 항목의 평균 점수는 1차 설문에서 3.04±0.65였고, 2차 설문에서 3.74±0.98로 0.70±0.76이 증가되었다(t=-6.83, p=0.00). 또한 나이, 가입도, 원용교정도수 및 컴퓨터 작업시간에 관계없이 중근용 누진 가입도 렌즈를 사용했을 때 컴퓨터 시각증후군(Computer Vision Syndrome)이 개선되는 것으로 나타났다. 따라서 노안교정이 필요한 사람의 컴퓨터 사용과 관련된 컴퓨터 시각 증후군(Computer Vision Syndrome)에 대한 관리 방법으로 중근용 누진 가입도 렌즈를 사용 하는 것이 유용할 것으로 사료된다. This study intends not only to investigate Computer Vision Syndrome(CVS) against presbyope who requires correction of near vision experiences using Visual Display Unit(VDT), but also assess trends of CVS and improvements in satisfaction when changed to VDU progressive lens while using progressive lens or single vision reading glasses. In this study, total 55 people(46 males, 9 females) the age between 45 and 64 currently working in Seoul Health College were selected as study subjects. In the first visit, subjective refraction and near addition were individually measured and VDU progressive lenses were prescribed and first survey was conducted. In the second visit, they were directed how to wear the glasses and recommended to wear the test glasses while working on computers for a month. Second survey was conducted at one month after the second visit. The average score for first survey of overall visual ability and vision problems related to the experienced discomfort in ey while using computers was 3.69±0.65. The average score for second survey was 4.50±0.91 which is significantly higher than the first survey average about 0.54±0.87 (t=-9.23, p=0.00). The average score for first survey on the questionnaire item about psychological well-being related to psychological atrophy and experienced discomfort while using computer was 3.04±0.65 and the average score for second survey was 3.74±0.98 with a significantly increase of 0.70±0.76 (t=-6.83, p=0.00). Regardless of age, addition, corrective power of distance vision and hour of computer use, it indicated that CVS improved by using VDU progressive lens. As a conclusion, using VDU progressive lens as a method to manage CVS is recommended for presbyope who requires correction of near vision is effective while use computer.

Intelligent decision support system for disaster response and safety management using deep learning for computer vision : focused on construction site

Park, Minsoo Sungkyunkwan University 2023 국내박사

이 연구는 건설현장의 재난을 대응하고 안전사고를 예방하기 위한 딥러닝 기반의 컴퓨터비전 기술의 적용 및 발전을 다룬다. 컴퓨터 비전은 딥러닝의 발전과 함께 모니터링 시스템의 자동화 대체 가능성 및, 기존 센싱 방식의 설치와 관련된 추가 비용을 줄이면서 광범위한 다중 탐지의 가능성을 보여주었다. 하지만, 재난 및 안전 사고 분야는 일반적인 딥러닝 학습분야와 다르게 현장에서 재현하기 어렵기 때문에 딥러닝을 학습하기 위한 충분한 데이터가 부족하여 학습된 모델을 다양한 환경에서의 강건함(Robustness)이 떨어져 실제 현장에 적용하기에는 한계가 있다. 또한, 현장의 복잡성 때문에 타겟 객체에 대한 1종 오류(False positive) 및 2종 오류(False negative)가 높아져 탐지 모델의 신뢰성이 저하되는 등 여전히 해결되어야 할 도전적인 과제가 있다. 이에 본 연구에서는 이러한 문제점을 해결하기 위해서 생성적 적대 신경망을 적용한 데이터 증강 방법과 준지도 학습 기반의 Pseudo-labeling 기법을 적용하여 데이터 부족 문제 극복하고자 하였다. 이 데이터 증강 방법은 타겟 형상의 변화가 극히 적은 전통적인 데이터 증강 방식과 다르게 딥러닝 모델이 각 Domain으로부터 학습된 계산식에 의해 데이터가 생성되는 방법으로써, 모델이 기존 이미지에서 학습할 수 없었던 다양한 형상의 객체를 학습할 수 있다. 이 방법은 실험적 결과를 통해 재난 분류 및 탐지 모델의 정확도를 높이는데 더욱 기여함이 확인되었다. 또한, 개발된 모델을 바탕으로 건설현장의 사망 사고의 주요 원인인 사다리 안전 사고 예방을 위해 안전작업지침을 기준으로한 이동식 사다리 작업에서의 작업자 행동 위험 알림 모델을 개발하였다. 개발된 모델은 이동식 사다리 규격과 사다리 Hinge를 타겟마커로 설정하여 작업자의 작업 높이를 근사하여 확인 할 수 있음을 확인하였다. 이를 이용하여 작업 높이에 따라 변동하는 작업자 행동 수칙을 기준으로 이상 행동 시 높은 정확도로 위험 신호 알림을 건설안전관리자에게 전달할 수 있음을 검증하였다. 마지막으로 개발된 모델을 재난 대응 및 건설현장 안전사고 예방을 위한 의사결정지원 시스템에 시각화하여 현장 적용 가능성을 검증하였다. 이상과 같이 재난 및 안전사고 분야에서 딥러닝을 활용한 컴퓨터비전 기술 적용 어려움을 해결하고자 각각의 제안된 방법을 적용하고 사다리 안전을 대상으로 수행한 Case study의 실험적 결과로부터 그 효과를 검증하였다. 검증 결과 제안된 기법은 정확도, 탐지 결과 산출 속도 등의 측면에서 실제 재난 안전 모니터링 현장 적용이 가능할 것으로 판단된다. 추후 본 기법을 이용하여 다양한 재난 및 사고 시나리오에 적용한 요소기술들을 개발함으로써 종합적인 종합적인 재난 및 안전 관리를 위한 시스템으로 발전할 수 있을 것이며, 이를 통해 재난/안전 사고로부터 발생되는 인적 물적 피해를 낮출 수 있을 것이라고 기대된다. This dissertation deals with the application and development of computer vision technology to respond to disasters and prevent safety accidents at construction sites. Computer vision, along with advances in deep learning, has shown the possibility of automation replacement of monitoring systems and the possibility of extensive multi-detection while reducing the additional costs associated with installing traditional sensing methods. However, the field of disaster and safety accidents is difficult to reproduce in the field, unlike general deep learning fields, so there is a limit to applying the learned model to the actual field due to the lack of robustness in various environments. Furthermore, due to the complexity of the field, there is still a challenging problem to be solved, such as increasing the false positive and false negative for the target object, which reduces the reliability of the detection model. This dissertation attempted to solve the data shortage problem by employing a data augmentation strategy based on a Generative Adversarial Networks (GAN) and a pseudo-labeling based on Weakly Supervised Object Localization (WSOL). Unlike the existing data augmentation method that can only change the small shape of an object, the deep learning model generates data with a calculation formula learned in each domain. As a result, objects of various shapes that the model could not train from the existing image can train. The experimental results confirmed that this method further contributes to increasing the accuracy of the disaster classification and detection model. In addition, based on the developed model, a worker unsafe behavior detection model was developed in mobile ladder work based on the safety work guidelines to prevent ladder safety accidents, which are the leading causes of fatal accidents at construction sites. It was confirmed that the developed model could be confirmed by approximating the working height of the operator by setting the movable ladder standard and ladder hinge as target markers. Furthermore, it was verified that the danger signal notification could be delivered to the construction safety manager with high accuracy in case of abnormal behavior based on the worker behavior rules that fluctuate depending on the working height. Finally, the developed model was visualized in a decision support system for disaster response and construction site safety accident prevention to verify the field applicability. As described above, each proposed method was applied to solve the difficulties in applying computer vision technology using deep learning in disasters and safety accidents. The effect was verified from the experimental results of the case study. As a result of the verification, it is judged that the proposed technique can be applied to actual disaster safety monitoring sites in terms of accuracy and detection result calculation speed. In the future, it will be possible to develop a system for comprehensive disaster and safety management by using this technique to develop element technologies applied to various disaster and accident scenarios. It is expected that it will be possible to lower human and material damage caused by accidents.

지능형 감시 시스템을 위한 경량 딥러닝 기반 화재 감지 알고리즘에 관한 연구

양훈준 인하대학교 대학원 2020 국내박사

This dissertation describes a lightweight deep learning-based fire detection algorithm for effectively classifying and detecting fire objects for intelligent surveillance systems. An intelligent surveillance system can track objects such as people and vehicles based on the data collected from the camera and observe specific events such as intrusion, fire, and accident in real time. With this system, even if a human observer does not see the incident with his/her own eyes, an alert can be sent to help resolve the incident before a major damage occurs. Computer vision technology is essential because this system operates based on image data collected from cameras. Computer vision technology is a way to solve what human vision can do with machines. This technology is widely used in various fields using images, such as autonomous driving, robotics, and medical image analysis. Computer vision usually solves the problem through machine learning. In recent years, the development of deep learning, a part of machine learning, has greatly influenced the field of computer vision. CNN (convolutional neural network), which is mainly used in deep learning, classifies patterns or signals and outputs the results. However, since CNN has high computational complexity and a large number of parameters, it can be operated only by using a workstation with powerful processors. Therefore, it is necessary to design an efficient CNN considering the appropriate amount of computation complexity for use in various fields. The algorithm for detecting fire in video surveillance systems proposed in this dissertation can be roughly divided into two steps. The first is to construct a base network that can effectively extract fire image features for fire images classification. It is a network inspired by MobileNet that considers the mobile environment, and is designed to extract features suitable for fire. Unlike other objects, fire or flame has many specific color patterns. The proposed network uses a channel multiplier to emphasize the characteristics of these flame objects. By using the channel multiplier, values of a specific color can be emphasized to help identify color information more effectively when extracting features. Also, color information emphasized by the channel multiplier is extracted using depthwise separable convolution. Depthwise separable convolution is useful because it can increase the representation of image information with less computational complexity than standard convolution. And the representation of convolution for each channel was further improved by using the SE (squeeze and excitation) module. The weight values of the network pass through each layer with a larger value due to the channel multiplier. A high-valued weight can improve performance by expressing features well, but it can also adversely affect performance. Therefore, custom Swish is used as an activation function to limit values that are too large. Second, a detection system to identify the location of fire objects has been proposed. Detection is a method of performing classification and object localization at the same time. The detection algorithm is constructed based on the network proposed by the classification algorithm. A structure to obtain location information as well as class information of objects is added to the base network. The detection algorithm YOLO-Fire proposed in this paper is designed with inspiration from YOLO V3 architecture. YOLO V3 is known to be able to operate in a mobile environment because it is fast enough to operate in an embedded device. YOLO-Fire uses the proposed classification algorithm and has higher performance and faster speed than YOLO V3 for fire detection. The accuracy of the proposed network is 95.44 %, which is higher than the classification performance of other existing CNN models. On the other hand, the number of parameters used for the proposed network is 38.50% less than MobileNet V2. Because it has the smallest amount of computation, it can be operated faster than other algorithms. Performance is measured based on AP (average precision) to evaluate the proposed fire detection algorithm. The YOLO-Fire detector proposed in this dissertation shows an AP of 90.72% which is 0.97% higher than that of 89.75% of YOLO V3. On the other hand, when the speed of the algorithm is measured based on the FPS, the frames processed per second, the proposed detector is 1.36 times faster than the YOLO V3 on a workstation with for NVIDIA Titan Xp GPUs and 4.39 times faster than the YOLO V3 on a Raspberry Pi 4. In this dissertation, a network lighter than other networks is proposed. Using the proposed network, deep learning can be implemented with low-powered devices such as embedded devices without using expensive dedicated processors or workstations in CNN-based surveillance systems. In addition, it is possible to widely deploy video-based surveillance systems in various fields by configuring hardware inexpensively. 본 논문에서는 지능형 감시 시스템에서 화재를 효과적으로 분류 및 검출하기 위한 경량 딥러닝 기반 화재 감지 알고리즘을 기술한다. 지능형 감시 시스템은 CCTV 등의 영상 수집 장치에서 수집된 데이터를 기반으로 사람 및 차량과 같은 객체를 관찰,추적하여 침입, 화재, 사고와 같은 특정한 사건을 실시간으로 모니터링 할 수 있는 시스템이다. 이 시스템을 통해서 사람이 직접 눈으로 사건을 확인하지 않더라도 자동적으로 경보를 보내 큰 피해가 발생하기 전에 사건을 해결할 수 있도록 도와줄 수 있다.카메라로부터 수집된 영상 데이터를 기반으로 동작하기 때문에 컴퓨터 비전 기술이 필수적이다. 컴퓨터 비전 기술은 인간의 시각으로 할 수 있는 일을 기계를 이용하여 해결하는 방법이다. 컴퓨터 비전은 자율 주행, 로보틱스, 의료 영상 분석 등과 같이 영상을 이용한 다양한 분야에서 널리 사용된다. 컴퓨터 비전은 대개 기계학습(machine learning)을 통해 문제를 해결한다.최근에는 머신러닝의 일부분인 딥러닝이 발전하면서 컴퓨터 비전 분야에도 많은 영향을 끼쳤다. 딥러닝에서 주로 사용되는 CNN(convolutional neural network)은 패턴이나 신호를 분류하여 그 결과를 출력한다. 그러나 일반적으로 사용되는 CNN은 계산 복잡도가 높고 파라미터의 수도 많기 때문에 고수준의 하드웨어 사양을 가진 워크스테이션을 사용하여야 동작시킬 수 있다. 그래서 다양한 분야에 적용 가능하도록 적절한 계산량을 고려한 효율적인 CNN 설계가 필요하다. 본 논문에서 제안하는 영상 감시 시스템에서 화재를 감지하기 위한 알고리즘은 크게 두 단계로 나눌 수 있다. 첫 번째는 화재 이미지 분류를 위하여 화재 이미지 특징을 효과적으로 추출할 수 있는 베이스 네트워크를 구성한다. 모바일 환경을 고려한 MobileNet에서 영감을 얻은 네트워크로 화재에 적합한 특징을 추출할 수 있도록 설계하였다. 불꽃은 다른 객체와는 다르게 특정 색상 패턴이 다수 분포되어 있다. 제안 된 네트워크에서는 이런 불꽃 객체의 특징을 강조하기 위하여 채널 승수(channel multiplier)를 사용한다. 채널승수를 사용하면 특정 색상의 값들을 크게 만들어 특징을 추출할 때 색상 정보를 더욱 효과적으로 표현할 수 있도록 도와줄수 있다.또한 채널승수에 의해 강조된 색상 정보를 깊이별 분리 컨볼루션(depthwise separable convolution)을 사용해서 추출한다.깊이별 분리 컨볼루션은 일반적인 컨볼루션보다 계산량이 적으면서도 이미지 정보의 표현을 높여줄 수 있어 유용하게 사용된다. 그리고 SE(squeeze and excitation) 모듈을 사용하여 채널 별 컨볼루션의 표현을 더 증가시켰다. 네트워크의 가중치값들은 채널 승수의 영향으로 기존보다 큰 값으로 각 레이어를 통과하게 된다. 큰 값의 가중치는 특징들을 잘 표현하여 성능을 높여줄 수 있지만 지나칠 경우 성능에 악영향을 미치기도 한다. 그러므로 너무 큰 값들을 제한하기 위하여 custom Swish를 활성함수로 사용하였다. 두 번째는 화재 객체의 위치를 고려한 검출시스템을 제안한다.검출은 클래스분류와 객체의 위치를 동시에 찾는 방법이다. 검출 알고리즘은 분류 알고리즘에서 제안한 베이스 네트워크를 기반으로 구성된다. 베이스 네트워크에 객체의 클래스 정보 뿐 아니라 위치 정보를 얻을 수 있는 구조가 추가된다. 본 논문에서 제안하는 검출 알고리즘 YOLO-Fire는 YOLO V3 구조에서 영감을 얻어 설계되었다. YOLO V3는 임베디드 장치에서 동작시킬 수 있을 정도로 충분히 속도가 빠르기 때문에 모바일 환경에서도 동작시킬 수 있는 것으로 알려져 있다. YOLO-Fire는 제안하는 분류 알고리즘을 사용하여 YOLO V3 보다 성능이 높고 속도가 빠른 특성을 가진다 제안된 네트워크의 화재 분류 알고리즘 성능을 평가한 결과 정확도는 95.44% 를 보였다. 이는 기존 다른 CNN 모델의 분류 성능보다 높은 수치이다. 반면에, 네트워크 학습을 위하여 사용된 파라미터의 수는 다른 네트워크 중에서 가장 작은 MobileNet V2보다 38.50% 적었다. 계산량이 가장 적기 때문에 다른 알고리즘보다 빠르게 동작시킬 수 있다. 제안한 화재 검출 알고리즘을 평가하기 위해 AP(average precision)를 기준으로 성능을 측정하였다. 본 논문에서 제안하는 검출기 YOLO-Fire는 90.72%의 AP를 보여 89.75%인 기존 YOLO V3과 비교했을 때 0.97% 높은 성능을 보였다. 반면 제안하는 검출기를 초당 처리 프레임인 FPS를 기준으로 알고리즘의 속도를 측정했을 때 워크스테이션에서 YOLO V3보다 1.36배 가량 빨랐다. 또한 임베디드 장치에서 속도를 측정하기 위해Raspberry Pi 4에서 실험한 결과 제안하는 검출기의 속도는 YOLO V3보다 4.39배 빠르게 동작하였다. 본 연구에서는 다른 네트워크들보다 경량화 된 네트워크를 제안하였다. 제안하는 네트워크를 이용하면 CNN 기반 감시 시스템에서 고가의 전용 프로세서나 워크스테이션을 사용하지 않고도 임베디드 장치와 같은 저사양 장치로도 딥러닝을 구현할 수 있다. 또한 저렴하게 하드웨어를 구성할 수 있어 더욱 많은 분야에 영상 기반 감시 시스템을 사용 할 수 있을 것으로 보인다.

컴퓨터 비전을 이용한 커먼레일 엔진의 고압튜브 검사 알고리즘 연구 : Study on the Computer-Vision Based Inspection Algorithm for High Pressure Tube of Common Rail Engine

Ahasan 울산대학교 2010 국내석사

A Computer Vision Based Inspection is expanding rapidly too many different areas of manufacturing in-service inspection. In general, it is difficult to check the fault of all parts, coming from part-feeding system, with only manual inspection because of time limitation. The purpose of this paper is to provide a common rail engine?s high pressure tube inspection algorithm and system using computer vision. Moreover, the edge detection is processed by using canny operator. To reduce the vision processing time, Hough transform standard method is used with clustering method for straight line detection. In addition, center points and diameters of inner and outer circle are found to determine eccentricity of parts.

Advancing Environmental Applications Through Machine Learning and Computer Vision: Modeling, Algorithms, and Real-World Implementations

Zhang, Tony University of Michigan ProQuest Dissertations & Th 2023 해외박사(DDOD)

The escalating concern over environmental challenges has spurred a growing interest in harnessing machine learning and computer vision techniques to represent scenes in environmental applications. Accurate and efficient scene representations play a pivotal role in addressing environmental issues, including air pollution, fire detection, and remote sensing analysis. This dissertation delves into the field of scene representations in machine learning and computer vision, with a specific focus on image-based approaches for environmental applications.For vision-based air pollution applications, air quality can be estimated by observing haze effects in images; hence, digital cameras can be used to quantify pollutants across large areas. We propose to use vision-based air pollution algorithms to predict the level of air pollution within the environment. The prevalence of images suggests that images can be used to estimate high spatial resolution air pollutant concentrations. However, there are many challenges to develop a portable, inexpensive, and accurate method for pollutant analysis, such as image quality variability, sufficient data for training, and hardware and software optimizations to meet constraints.I address those challenges by designing image-based air pollution prediction methods for sensing and forecasting, developing benchmark datasets to test and validate vision-based pollution estimation algorithms, and determining how sensing accuracy depends on point sensor density and use of cameras. My efforts can be divided into three categories: (1) We design an image-based multi-pollutant estimation algorithm that is capable of modeling atmospheric absorption in addition to scattering, spatial variation, and color dependence of pollution; (2) We use different spatial densities of sensors and vision-based algorithms to estimate air pollution concentrations and analyze hazy images; (3) We construct an image-based air quality forecasting model that fuses a history of PM2.5 measurements with colocated images (at the same spot); and (4) We develop an image-based air quality prediction model specifically tailored to the nighttime case.All the techniques are evaluated and validated using real-world data. Experimental results show that our techniques can reduce sensing error significantly. For example, our multi-pollutant estimation technique reduces single-pollutant estimation RMSE (root mean square error) by 22% compared to previous existing vision-based techniques; for the images in our benchmarking dataset, using images decreases MAE (mean absolute error) by 8.4% on average; therefore, adding a camera to collect images helps more than adding more sensors. Finally, experiments on Shanghai data show that our forecasting model improves PM2.5 prediction accuracy by 15.8% in RMSE and 10.9% in MAE compared to previous forecasting methods.Furthermore, two innovative deep learning models were introduced to address segmentation tasks in different environmental domains. The first model focused on fire segmentation in images, incorporating a multi-scale aggregation module and a context-oriented module to achieve accurate and rapid fire detection by extracting discriminative features from various receptive fields and capturing both local and global context information. The proposed fire segmentation network outperformed previous methods with a significant 2.7% improvement in Intersection over Union (IoU). The second model targeted remote sensing segmentation in aerial images, enhancing feature representation in the spatial and frequency domains through a Frequency Weighted Module and a Spatial Weighting Module, respectively. Additionally, a Multi-Domain Fusion Module was employed to combine features from different domains, leading to state-of-the-art performance on remote sensing datasets with a mean F1-score accuracy improvement of 1.9%.

컴퓨터그래픽을 이용한 텍스타일(TEXTILE)디자인 : 프리마비젼(Prima Vision)을 중심으로

정명화 조선대학교 대학원 2001 국내석사

As the distribution of computer has been popularized, textile industry has been replaced by all kinds of systems and equipments in production style and management and it shows a different aspect from the past. When computer is applied to the objects requiring a lot of investments in facilities and equipments, the various designs can be developed in a short time, developing multi-items of small quantities is possible by improving the past handicraft design process and it can present the visual products rapidly. As the consumption has been diversified, the cycle of vogue has been shortened and then skilled judgment and technology of textile designer which can predict such a cycle exactly are important. Therefore, the process of handiwork should be reduced and the scientific and rational selection is required to satisfy the demands of consumers and cope with a short cycle. The areas of applying CAD system to textile industry include dyeing design, jagard design and printing design. CAD system in textile design can obtain the rapid, exact and various design products in comparison with handiwork and it also has the advantages of changing, compounding and complementing the products. If design development using textile cad system and creation of an original idea are combined, the development of design of high added value, improvement of productivity and cost reduction are achieved, ornamental demands of consumers can be satisfied and the leap and advancement of textile industry can be pursued.