소프트웨어 오류 탐지를 위한 아키텍처 기반의 다계층적 자가적응형 모니터링 방법

윤현지(HyunJi Youn),박수용(SooYong Park) 한국정보과학회 2010 정보과학회논문지 : 소프트웨어 및 응용 Vol.37 No.7

Mission-critical 시스템의 경우 자가 치유는 신뢰성을 보장하기 위한 기술 중 하나이다. 자가치유는 오류 탐지와 오류 회복으로 이루어져 있으며 오류 탐지는 오류 회복을 가능하게 하는 자가 치유의 중요한 첫 단계이지만 시스템에 과부하를 주는 문제가 있다. 모델 기반의 방법 등으로 오류를 탐지할 수 있는데 시스템의 모든 행위를 통지하고 정상 행위 모델과 통지된 시스템의 행위를 비교하여야 하므로 그양이 많고 부하가 크기 때문이다. 본 논문에서는 모델 기반의 오류 탐지 방법을 보완하는 아키텍처 기반의 다계층적 자가적응형 모니터링 방법을 제안한다. 소프트웨어 아키텍처 상에서 오류 탐지의 중요도는 컴포넌트 마다 다르다. 각 컴포넌트마다 발생하는 오류의 심각도와 빈도가 다르기 때문이다. 모니터링 중요도가 높은 컴포넌트에는 강도가 높고 모니터링 중요도가 낮은 컴포넌트에는 강도가 낮도록 모니터가 적응한다면 오류 탐지의 부하는 줄이고 효율은 유지시킬 수 있다. 또한 소프트웨어의 환경 변화 및 아키텍처상의 변화 등에 따라 오류 발생 빈도가 변화하여 컴포넌트의 오류 탐지 중요도가 변화하기 때문에 학습을 통해 이를 추적하여 자가적응적으로 중요도가 높은 컴포넌트를 집중 모니터링 한다. Self-healing is one of the techniques that assure dependability of mission-critical system. Self-healing consists of fault detection and fault recovery and fault detection is important first step that enables fault recovery but it causes overhead. We can detect fault based on model, the detection tasks that notify system’s behavior and compare normal behavior model and system’s behavior are heavy jobs. In this paper, we propose architecture-based multi-level self-adaptive monitoring method that complements model-based fault detection. The priority of fault detection per component is different in the software architecture. Because the seriousness and the frequency of fault per component are different. If the monitor is adapted to intensive to the component that has high priority of monitoring and loose to the component that has low priority of monitoring, the overhead can be decreased and the efficiency can be maintained. Because the environmental changes of software and the architectural changes bring the changes at the priority of fault detection, the monitor learns the changes of fault frequency and that is adapted to intensive to the component that has high priority of fault detection.

일차방정식에서 오류 탐지-교정 학습법의 교수학적 효과 분석

이종희,김부미 이화여자대학교 교과교육연구소 2006 교과교육학연구 Vol.10 No.2

본 연구는 중학교 2학년 학생들을 대상으로 일차방정식 단원에서 오류 탐지-교정 학습법을 실시한 후 그 교수학적 효과를 분석하였다. 오류 탐지-교정 학습법은 학생들이 문제해결 과정에서 스스로 오류를 탐지하고 교정하는 교수-학습법으로, 실제 수업에서 학습해야할 개념을 이해하고 습득할 때 자기주도적 학습 능력을 향상시켜 교수학적 효과를 극대화시킴으로써 학습에 도움이 되는 방법이다. 연구 결과, 일차방정식에 대한 학생들의 오개념은 구조적 오류와 실행적 오류로 크게 분류되고, 구조적 오류는 다시 논리적 오류, 개념상 오류로 범주화되었으며, 실행적 오류는 주어진 연산의 우선성 선택 오류, 생략 오류, 수치 연산의 오류로 범주화되었다. 이 때, 학생들이 선택한 문제 풀이 방법을 조사한 결과, 자동화, 공식 적용, 추측-대입, 유사 규칙 적용 방법으로 방정식을 풀 때 오류 발생 비율이 높았으며, 특히 구조적 오류에서 논리적 오류, 개념상 오류를 범할 때 학생들은 공식 적용의 방법을 선호하였고 실행적 오류를 범할 때는 유사 규칙의 적용 방법을 선호하였다. 오류 탐지-교정 학습법이 학생들의 오류 교정 학습에 유의적인 효과가 있으며, 그 교수학적 효과가 지속적이라는 결과가 입증되었다. Investigation of the students' mathematical misconceptions and error is very important to the improvement in the school mathematics teaching and basis of curriculum. In this study, we analyze students' error of solving linear equations and investigate how to advance students' self-diagnosis and the misconceptions through the error-detection instruction The error-detection instruction is the method of teaching-learning, which helps students reflect their solving process through discussing errors and detecting error. Also, the error-detection instruction improves students' methods and awareness of error-detection and helps student revise or correct errors in the solving linear equations. Students detect errors mainly through perplexed problems which was rarely taken a correct process. As a result, we categorize structural error and executional error. The Structural error contains logical error and conceptional error. Executional error includes operational error, omission error of symbol or code. The error-detection instruction increase capacity, variety of methods and efficiency in finding and correcting errors.

XGBoost와 교차검증을 이용한 품사부착말뭉치에서의 오류 탐지

최민석,김창현,박호민,천민아,윤호,남궁영,김재균,김재훈 한국정보처리학회 2020 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.9 No.7

Part-of-Speech (POS) tagged corpus is a collection of electronic text in which each word is annotated with a tag as the corresponding POS and is widely used for various training data for natural language processing. The training data generally assumes that there are no errors, but in reality they include various types of errors, which cause performance degradation of systems trained using the data. To alleviate this problem, we propose a novel method for detecting errors in the existing POS tagged corpus using the classifier of XGBoost and cross-validation as evaluation techniques. We first train a classifier of a POS tagger using the POS-tagged corpus with some errors and then detect errors from the POS-tagged corpus using cross-validation, but the classifier cannot detect errors because there is no training data for detecting POS tagged errors. We thus detect errors by comparing the outputs (probabilities of POS) of the classifier, adjusting hyperparameters. The hyperparameters is estimated by a small scale error-tagged corpus, in which text is sampled from a POS-tagged corpus and which is marked up POS errors by experts. In this paper, we use recall and precision as evaluation metrics which are widely used in information retrieval. We have shown that the proposed method is valid by comparing two distributions of the sample (the error-tagged corpus) and the population (the POS-tagged corpus) because all detected errors cannot be checked. In the near future, we will apply the proposed method to a dependency tree-tagged corpus and a semantic role tagged corpus. 품사부착말뭉치는 품사정보를 부착한 말뭉치를 말하며 자연언어처리 분야에서 다양한 학습말뭉치로 사용된다. 학습말뭉치는 일반적으로 오류가 없다고 가정하지만, 실상은 다양한 오류를 포함하고 있으며, 이러한 오류들은 학습된 시스템의 성능을 저하시키는 요인이 된다. 이러한 문제를 다소 완화시키기 위해서 본 논문에서는 XGBoost와 교차 검증을 이용하여 이미 구축된 품사부착말뭉치로부터 오류를 탐지하는 방법을 제안한다. 제안된 방법은 먼저 오류가 포함된 품사부착말뭉치와 XGBoost를 사용해서 품사부착기를 학습하고, 교차검증을 이용해서 품사오류를 검출한다. 그러나 오류가 부착된 학습말뭉치가 존재하지 않으므로 일반적인 분류기로서 오류를 검출할 수 없다. 따라서 본 논문에서는 매개변수를 조절하면서 학습된 품사부착기의 출력을 비교함으로써 오류를 검출한다. 매개변수를 조절하기 위해서 본 논문에서는 작은 규모의 오류부착말뭉치를 이용한다. 이 말뭉치는 오류 검출 대상의 전체 말뭉치로부터 임의로 추출된 것을 전문가에 의해서 오류가 부착된 것이다. 본 논문에서는 성능 평가의 척도로 정보검색에서 널리 사용되는 정밀도와 재현율을 사용하였다. 또한 모집단의 모든 오류 후보를 수작업으로 확인할 수 없으므로 표본 집단과 모집단의 오류 분포를 비교하여 본 논문의 타당성을 보였다. 앞으로 의존구조부착 말뭉치와 의미역 부착말뭉치에서 적용할 계획이다.

연관 규칙 마이닝을 이용한 영작문 형태-통사 오류 자동 탐지

김동성(Dongsung Kim) 한국정보과학회 2011 정보과학회논문지 : 소프트웨어 및 응용 Vol.38 No.3

본 연구에서는 일련의 연구에서 수집된 영작문 오류 유형의 정제된 자료를 토대로 연관 규칙을 생성하고, 학습을 통해서 효용성이 검증된 연관 규칙을 활용해서 영작문 데이터의 형태?통사 오류를 자동으로 탐지한다. 영작문 데이터에서 형태?통사 오류를 찾아내는 작업은 많은 시간과 자원이 소요되는 작업이므로 자동화가 필수적이다. 기존의 연구들이 통계적 모델을 활용한 어휘적 오류에 치중하거나 언어 이론적 틀에 근거한 통사 처리에 집중하는 반면에, 본 연구는 데이터 마이닝을 통해서 정제된 데이터에서 연관 규칙을 생성하고 이를 검증한 후 형태·통사 오류를 감지한다. 이전 연구들에서는 이론적 틀에 맞추어진 규칙 생성이나 언어 모델 생성을 위한 대량의 코퍼스 데이터와 같은 다량의 지식 베이스 생성이 필수적인데, 본 연구는 적은 양의 정제된 데이터를 활용한다. 영작문 오류 유형의 형태?통사 연관 규칙을 생성하기 위해서 Apriori 알고리즘을 활용하였다. 알고리즘을 통해서 생성된 연관 규칙 중 잘못된 규칙이 생성될 가능성이 있으므로, 상관성 검정, 코사인 유사도와 같은 규칙 효용성의 통계적 검증을 활용해서 타당한 규칙만을 학습하고 축적된 연관 규칙들을 영작문 오류를 자동으로 탐지하는 실험에 활용하였다. 연구 결과로 형태?통사적 문법 오류를 정확하게 탐지함을 알 수 있다. Since manual error detection of morpho-syntactic errors of English writing requires lots of time and resources, automation of error detection is essential in both Computer-Assisted Language Learning and English learning studies. This approach aims at automatic detection of morpho-syntactic errors of English writing using association rule mining, which needs three steps of procedures. As the first step, we generate association rules based on the refined data. Second, we statistically verify the generated rules. Third, we testify the verified rules on the test data. Previous studies have focused on either word errors based on the language models using large corpora, or the systems very specific to the complex grammatical theories. Meanwhile, this study uses relatively small amount of data. We used the Apriori algorithm for the rule mining task. Since rules generated by the algorithm can contains lots of noise to be reduced, we apply statistical machine learning methods using correlation coefficient and cosine similarity. This process sifts valid mal-rules for the automatic detection tasks from lots of noise.

비대칭 오류 비용을 고려한 SVM 기반 지능형 침입탐지모형 개발

이현욱,안현철 한국지능정보시스템학회 2011 한국지능정보시스템학회 학술대회논문집 Vol.2011 No.5

최근 인터넷 사용의 증가에 따라 네트워크에 연결된 시스템에 대한 악의적인 해킹과 침입이 빈번하게 발생하고 있으며, 각종 시스템을 운영하는 정부기관, 관공서, 기업 등에서는 이러한 해킹 및 침입에 의해 치명적인 타격을 입을 수 있는 상황에 놓여 있다. 이에 따라 인가되지 않았거나 비정상적인 활동들을 탐지, 식별하여 적절하게 대응하는 침입탐지 시스템에 대한 관심과 수요가 높아지고 있으며, 침입탐지시스템의 예측성능을 개선하려는 연구 또한 활발하게 이루어지고 있다. 본 연구 역시 침입탐지시스템의 예측성능을 개선하기 위한 새로운 지능형 침입탐지모형을 제안한다. 본 연구의 제안모형은 비교적 높은 예측력을 나타내면서 동시에 일반화 능력이 우수한 것으로 알려진 Support Vector Machine(SVM)을 기반으로, 비대칭 오류비용을 함께 고려하여 침입을 효과적으로 차단할 수 있도록 설계되었다. 제안모형의 우수성을 확인하기 위해, 기존 기법인 로지스틱 회귀분석, 의사결정나무, 인공신경망과의 결과를 비교하였으며 그 결과 제안하는 SVM 모형이 다른 기법에 비해 상대적으로 우수한 성과를 보임을 확인할 수 있었다.

중학생 영작문 실력 향상을 위한 자동 문법 채점 시스템 구축

김지은,이공주 한국콘텐츠학회 2007 한국콘텐츠학회논문지 Vol.7 No.5

This paper presents an automated English scoring system designed to help non-native speakers of English, Korean-speaking learners in particular. The system is developed to help the 3rd grade students in junior high school improve their English grammar skills. Without human's efforts, the system identifies grammar errors in English sentences, provides feedback on the detected errors, and scores the sentences. Detecting grammar errors in the system requires implementing a special type of rules in addition to the rules to parse grammatical sentences. Error production rules are implemented to analyze ungrammatical sentences and recognize syntactic errors. The rules are collected from the junior high school textbooks and real student test data. By firing those rules, the errors are detected followed by setting corresponding error flags, and the system continues the parsing process without a failure. As the final step of the process, the system scores the student sentences based on the errors detected. The system is evaluated with real English test data produced by the students and the answers provided by human teachers. 본 논문에서는 중학생이 작성한 영작문에서 자동으로 문법오류를 검색하고 채점하는 시스템을 소개한다. 학생의 문장이 입력되면 형태소 및 구문 분석을 하고 오류를 검색한다. 문장 분석이 완료되면 교사들이 제공한 채점기준에 의해 자동으로 채점한다. 문법오류를 탐지하기 위해서 정문을 처리하는 규칙은 물론 오류를 포함하고 있는 문장도 처리하는 규칙을 구현하였다. 본 시스템에서는 영어를 제2외국어로 사용하는 학생들이 한국어의 영향으로 인해 발생시키는 영어 구문오류를 집중적으로 처리하고자 하였다. 이와 같이 영작문에 대한 자동 채점은 학생들에게 오류에 대한 즉각적인 피드백을 제공하여 스스로 자신의 영어실력을 모니터할 수 있게 해 준다. 이러한 시스템을 활용함으로써 학생들은 언제 어디서나 혼자서 영작문 공부를 할 수 있으며, 이는 학생들의 실력 향상에 많은 도움이 될 것이다.

고안전도 차량을 위한 자율주행 시스템

신영근,전현치,최광모,박상성,장동식 한국콘텐츠학회 2007 한국콘텐츠학회논문지 Vol.7 No.2

This paper is concerned with development of system to detect an obstructive vehicle which is an essential prerequisite for autonomous driving system of ASV(Advanced Safety Vehicle). First, the boundary of driving lanes is detected by a Kalman filter through the front image obtained by a CCD camera. Then, lanes are recognized by regression analysis of the detected boundary. Second, parameters of road curvature within the detected lane are used as input in error-BP algorithm to recognize the driving direction. Finally, an obstructive vehicle that enters into the detection region can be detected through setting detection fields of the front and lateral side. The experimental results showed that the proposed system has high accuracy more than 90% in the recognition rate of driving direction and the detection rate of an obstructive vehicle. 본 연구는 고안전도 차량의 자율주행을 위해 필수적인 장애물 차량 탐지를 위한 시스템 개발에 관한 것이다. 먼저 칼만필터를 이용해 차량에 부착된 CCD 카메라에 의해서 획득한 전방 영상으로부터 주행차선의 경계를 탐지한다. 그리고 탐지된 경계의 회귀분석을 통해 차선을 인식한다. 다음으로 주행 방향을 인식하기 위해 탐지된 차선내의 도로 굴곡 파라미터를 오류 역전파 알고리즘의 입력값으로 사용한다. 마지막으로 전방과 측방에 탐지영역을 설정함으로써 탐지영역으로 들어오는 장애물 차량을 탐지할 수 있다. 제안한 방법으로 실험한 결과 주행방향 인식과 장애물 차량의 인식 모두 90% 이상의 높은 정확도를 보였다.

진화 심리학의 도전 - 사기꾼 탐지 모듈과 자연주의적인 오류를 중심으로 -

조현진 ( Jo Hyeon-jin ) 서강대학교 철학연구소 2019 철학논집 Vol.57 No.-

이 글에서 나는 진화 윤리학에 대한 새로운 접근을 모색하는 진화 심리학의 시도가 과연 성공적인지의 여부를 검토했다. 진화 심리학자들은 인간에게 주어진 진화된 인지 기제인 사기꾼 탐지 모듈을 통해 사기꾼을 분별하고 처벌함으로써 협동이 가능해지고 도덕성이 진화할 수 있었다고 주장한다. 또, 진화 윤리학이 자연주의적 오류에 빠진다는 비판에 대해 진화 심리학자들은 자연주의적 오류를 피하기 위해 사실 판단과 가치 판단의 엄격한 분리를 고수하거나, 사실 판단과 가치 판단의 관련성을 강조하거나, 가치 판단을 심리학적 사실 판단으로 환원하는 대안을 제시했다. 나는 이런 주장들에 대해 다음처럼 논증했다. 첫째, 사기꾼 모듈의 경험적 증거로 제시된 실험에 대한 상이한 해석이 가능하고 신경과학적 증거 역시 불충분하다. 둘째, 사실 판단과 가치 판단을 엄격히 분리함으로써 자연주의의 오류를 피하려는 전략은 은연 중 사실 판단으로부터 가치 판단을 도출하거나 가치 판단과 관련을 맺게 된다. 셋째, 윤리적 논의가 모종의 자연적 사실임을 주장하는 반-자연주의적인 오류 전략은 상대성과 규범성의 문제에 직면한다. 넷째, 윤리적 가치 판단을 심리학적 사실로 환원하려는 전략은 도덕성 자체를 해체할 위험이 있고 흄의 철학을 지나치게 생물학화 한다. 이상의 논의로부터 나는 도덕을 자연화 하려는 진화 심리학의 시도가 아직까지는 성공적이지 못하다고 결론 내렸다. In this paper, I examined whether the attempt of evolutionary psychology to find a new approach to evolutionary ethics was successful. Evolutionary psychologists argue that cooperation and morality could evolve by detecting and punishing cheaters through the Cheat Detection Module, which is an evolved cognitive mechanism given to humans. In order to avoid the naturalistic fallacy, in addition, evolutionary psychologists presented three alternatives. One alternative is to stick to the strict separation of fact judgment and value judgment. The other is to emphasize the relevance between fact judgment and value judgment. The third is to reduce value judgment to psychological fact judgment. I argued against these claims as follows. First, empirical evidence of the Cheat Detection Module allows for different interpretation of the experiments presented and neuro-scientific evidence is also insufficient. Second, the strategy of avoiding naturalistic fallacy by strictly separating fact judgment and value judgment makes it possible to derive implicit value judgment or to make a relation with value judgment. Third, the strategy of Anti-naturalistic fallacy, which argue that ethical judgment is some kind of natural fact, face the problem of relativity and normativity. Fourth, the strategy of reducing ethical value judgment to psychological fact has the risk of dismantling morality itself and over-biologicizing. From the above discussion, I have concluded that the attempt of evolutionary psychology to naturalize morality has not been successful yet.

머신러닝을 이용한 내장형 소프트웨어의 동시성 오류 탐지 방안 설계 및 구현

이동언,김지원,진정훈,조규태 한국정보과학회 2022 정보과학회논문지 Vol.49 No.5

Unlike general-purpose software, embedded software is designed by optimizing hardware for a specific purpose, so it is important to satisfy the target performance in a limited environment. Embedded software is increasing significantly in scale and complexity compared to the past. As the scale and complexity increase, the types of errors that occur in the software also diversify. Among them, there are many issues regarding concurrency errors that may occur between complex software modules. To detect concurrency errors in such embedded software, we have previously relied on manual input from the user. However, in this study, we propose a machine learning-based concurrency error detection tool (MCED) using SVM and deep learning. 내장형 소프트웨어(embedded software)는 범용 소프트웨어와는 다르게 특정 목적에 맞게 하드웨어를 최적화하여 설계하기 때문에 제한된 환경에서의 목표하는 성능을 만족시키는 것이 중요하다. 오늘날 내장형 소프트웨어는 규모와 복잡도가 과거에 비해 크게 증가하고 있다. 규모와 복잡도가 커짐에 따라 소프트웨어에 발생하는 오류의 형태도 다양해지는데 그 중 복잡해진 소프트웨어 모듈 사이에서 발생가능한 동시성 오류(concurrency error)에 대한 이슈가 많다. 이러한 내장형 소프트웨어의 동시성 오류를 검출하기 위해 기존에는 사용자의 수동 입력에 의존하였으나, 본 논문에서는 SVM과 딥러닝을 활용한 머신 러닝 기반의 동시성 오류 탐지 도구(MCED)를 제안한다.

폴리그라프 비교질문검사(comparison question technique: CQT) 기본 가정의 타당성에 대한 증거: 오류긍정 비율

한유화,박광배 한국심리학회 2009 한국심리학회지 일반 Vol.28 No.2

비교질문검사(comparison question technique: CQT)는 대한민국에서 가장 일반적으로 사용되고 있는 거짓말탐지검사 기법이다. CQT는 거짓말탐지검사에서 거짓말을 하는 피검사자와 진실을 말하는 피검사자의 관련질문과 비교질문에 대한 심리생리적 반응이 다를 것이라는 기본적인 가정에 기초한다. 본 연구에서는 합리적인 추론을 바탕으로 하여 CQT의 기본적인 가정이 타당한지를 검증하였다. 연구방법으로는 CQT의 논리적 가정이 타당하지 않다고 주장하는 Lykken(1988, 1998)이 예측하는 CQT의 오류긍정 비율(기대빈도)과 실제 검사자료에서 산출되는 오류긍정 비율(관찰빈도)의 차이를 χ2 검증하였다. 연구결과 CQT를 사용한 실제 검사자료의 오류긍정 비율은 1%~7%로 매우 낮게 나타난 것에 반해 Lykken(1988, 1998)이 주장하는 CQT의 오류긍정 비율은 39.5%~47%로 매우 높아 과대추정된 것으로 나타났으며 이것은 CQT의 기본적인 가정이 타당하다는 것을 보여주는 하나의 증거로 제시될 수 있을 것이다. 본 연구는 합리적 추론에 근거하여 CQT 기본적 가정의 타당성에 대한 증거를 제시하였다는 것에 의의가 있으며 논의에서는 본 연구와 더불어 CQT 기본적 가정의 타당성을 검증하기 위해 필수적으로 이루어져야 하는 연구들을 제안하였고, 본 연구의 제한점에 대해 논의하였다. Comparison Question Technique (CQT) is the method of forensic lie detection that is the most widely used in Korea. CQT is based on the basic assumption that the psychophysiological responses vary depending on whether the subject receives a relevant or a comparison question and whether the subject is telling a lie or the truth. The present study tested the basic assumption underlying the use of CQT by means of a chi-square test for the goodness-of-fit between the false positive rates as expected by Lykken (1988, 1998) and those as estimated from actual data. The false positive rates in actual data were estimated to be generally low in the range of 1% to 7%. On the other hand, Lykken (1988, 1998) expected them to be in the range of 39.5% to 47%. Our analyses indicate that Lykken severely overestimated the false positive rates of CQT and as a result, the basic assumption underlying the use of CQT as a method of lie detection is not as ill-founded as Lykken proposed. The limitations of the present study and further studies to establish the validity of the rationales underlying CQT were discussed.