행렬 곱 연산을 위한 분산 부호화 컴퓨팅에서 집단 검증 기반의 악의적 공격 탐지 기법

홍상우,양희철,윤영석,이정우 한국통신학회 2023 韓國通信學會論文誌 Vol.48 No.2

여러 컴퓨팅 노드를 활용하는 분산 컴퓨팅 환경에서 분산 부호화 컴퓨팅은 낙오 효과 감소, 데이터 보안 보장 등을위해 활용되어 왔다. 그러나 많은 컴퓨팅 노드를 활용하는 분산 컴퓨팅의 특성상 컴퓨팅 노드 중 잘못된 연산 결과를보내 전체 연산을 망치고자 하는 악의적 공격을 수행하는 비잔틴 워커가 존재할 수 있다. 본 논문에서는 행렬 곱 연산을위한 분산 부호화 컴퓨팅에서 악의적으로 잘못된 결과를 반환하는 비잔틴 워커가 존재할 때, 이를 효과적으로 탐지하고올바른 전체 연산 결과를 복호화하는 기법을 소개한다. 우선 악의적 공격 탐지를 위한 새로운 분산 부호화 컴퓨팅 기법을소개하고, 이에 적합한 두 가지 집단 검증 기법을 제안한다. 또한, 분산 컴퓨팅 환경을 제공하는 아마존 웹 서비스에서비잔틴 워커의 존재 하에 행렬 곱 연산을 수행하는 실험을 통해 비잔틴 워커 탐지에 소요되는 시간을 밝힌다.

분산 컴퓨팅 환경에서 효율적인 유사 조인 질의 처리를 위한 행렬 기반 필터링 및 부하 분산 알고리즘

양현식(Hyeon-Sik Yang),장미영(Miyoung Jang),장재우(Jae-Woo Chang) 한국콘텐츠학회 2016 한국콘텐츠학회논문지 Vol.16 No.7

하둡 맵리듀스와 같은 분산 컴퓨팅 플랫폼이 개발됨에 따라, 기존 단일 컴퓨터 상에서 수행되는 질의 처리 기법을 분산 컴퓨팅 환경에서 효율적으로 수행하는 것이 필요하다. 특히, 주어진 두 데이터 집합에서 유사도가 높은 모든 데이터 쌍을 탐색하는 유사 조인 질의를 분산 컴퓨팅 환경에서 수행하려는 연구가 있어 왔다. 그러나 분산 병렬 환경에서의 기존 유사 조인 질의처리 기법은 데이터 전송 비용만을 고려하기 때문에 클러스터 간에 비균등 연산 부하 분산의 문제점이 존재한다. 본 논문에서는 분산 컴퓨팅 환경에서 효율적인 유사 조인 처리를 위한 행렬 기반 부하 분산 알고리즘을 제안한다. 제안하는 알고리즘은 클러스터의 균등 부하 분산을 위해 행렬을 이용하여 예상되는 연산 부하를 측정하고 이에 따라 파티션을 생성한다. 아울러, 클러스터에서 질의 처리에 사용되지 않는 데이터를 필터링함으로서 연산 부하를 감소시킨다. 마지막으로 성능 평가를 통해 제안하는 알고리즘이 기존 기법에 비해 질의 처리 성능 측면에서 우수함을 보인다. As distributed computing platforms like Hadoop MapReduce have been developed, it is necessary to perform the conventional query processing techniques, which have been executed in a single computing machine, in distributed computing environments efficiently. Especially, studies on similarity join query processing in distributed computing environments have been done where similarity join means retrieving all data pairs with high similarity between given two data sets. But the existing similarity join query processing schemes for distributed computing environments have a problem of skewed computing load balance between clusters because they consider only the data transmission cost. In this paper, we propose Matrix-based Load-balancing Algorithm for efficient similarity join query processing in distributed computing environment. In order to uniform load balancing of clusters, the proposed algorithm estimates expected computing cost by using matrix and generates partitions based on the estimated cost. In addition, it can reduce computing loads by filtering out data which are not used in query processing in clusters. Finally, it is shown from our performance evaluation that the proposed algorithm is better on query processing performance than the existing one.

서비스 지향적인 구조를 이용한 URC 로봇 미들웨어

곽동규,최재영 한국정보과학회 2012 정보과학회논문지 : 시스템 및 이론 Vol.39 No.5

URC는 다양한 환경에서 네트워크 시스템과 연계하여 인간과 상호작용하며 상황에 따라 주어진 환경에 맞는 적절한 역할을 수행하는 로봇 실행 환경이다. URC 로봇은 로봇 클라이언트의 구조를 단순화시키고 컴퓨팅 파워를 경량화시키기 위해서 분산 컴퓨팅 환경을 적용한다. 기존의 연구에서는 객체간의 통신을 지원하거나 분산 미들웨어를 사용하였다. 하지만 두 가지 방법 모두 API 수준에서 분산 컴퓨팅을 지원하므로 개발자가 분산 컴퓨팅을 위한 프로그램을 직접 작성해야 한다. 이는 개발자에게 분산 컴퓨팅에 대한 학습과 개발에 대한 부담을 증가시킨다. 본 논문은 로봇 소프트웨어를 위한 분산 컴퓨팅 미들웨어를 제안한다. 또한 이 미들웨어를 위한 개발환경으로 SOMAR를 개발하였다. SOMAR는 서비스 지향적인 방법으로 소프트웨어의 추상적인 결합을 표현할 수 있는 RSEL 문서를 지원한다. RSEL 문서로 작성된 서비스는 실행되는 계층에 따라 인터프리팅되거나 타겟 시스템의 프로그래밍 언어로 변환된다. RSEL 문서로 작성된 추상화된 서비스는 로봇 서버에서 인터프리팅되어 다른 응용에 웹 서비스의 형태로 제공되고, 로봇 클라이언트에서는 타겟 프로그래밍 언어로 변환되어 R-OSGi 프락시 클래스로 제공된다. RSEL 문서를 이용한 자동화된 분산 컴퓨팅 개발 환경은 개발자가 소프트웨어의 요구사항에만 집중할 수 있도록 한다. 이는 분산 컴퓨팅을 위한 소프트웨어의 복잡도를 제거하여 전체 소프트웨어의 복잡도를 낮추는 효과를 갖는다. The URC provides program execution environments for robots, in which robots are connected with a communication network, interacted with humans, and provide context-aware services. Especially URC robots are implemented on distributed computing environments, therefore client-side of the robot can be simplified and come to use less computing power. Other previous studies report that a program developer is required to develop programs by directly using the communication between objects or by using a distributed middleware to support communications. Both cases support communication by using communication APIs, which are not easy to use and/or learn for application program developers. In this paper, we present SOMAR, which is a middleware for developing robot software on in distributed computing environments. SOMAR supports RSEL document, which is to abstract robot software binding based on service-oriented approach. Services written by RSEL documents are interpreted on a target system or converted to the programming language of a target system according to the executing layer of the services. A robot server interprets the abstracted services and it provides them to other applications as a web service. A robot client converts the services to programming codes of a target system, when it serves as an R-OSGi proxy class. The automated distributed computing environment using RSEL allows the developer to focus on requirement of robot applications. Therefore, it is possible to decrease software complexity to develop applications in complicated distributed computing environments.

전산망의 분산처리 기술

하성룡 慶北專門大學(영주경상전문대학) 1999 慶北專門大學 論文集 Vol.17 No.-

소프트웨어 개발환경의 구조가 크게 변모함에 따라 종래의 TSS(Time Sharing System)에 의한 집중처리 환경에서 응답시간은 프로그램 생산성 향상에 큰 영향을 미치고 있음이 지적되고 있었으며, 이에 따라 생산성 향상을 위해 응답시간 단축이 요구되었다. 분산처리 환경은 이러한 문제를 경제적으로 해소할 수 있었으며, 워크스테이션의 풍부한 처리능력을 활용하여 개발자의 능력을 최고로 발휘할 수 있는 환경이 기대되고 있다. 이는 분산처리기술의 개방성을 지원하기 위한 분산처리 플렛홈으로 지원하기 때문에 LAN/WAN을 기반으로 하는 정보시스템 구축시 핵심기술로 사용될 전망이다. 분산처리에 가장 대표적인 표준기술인 OSF/DEC의 원격 프로시주어 호출(RPC: Remote Procedure Call) 기능을 이용하여 상호 연결하여 어플리케이션들을 좀더 쉽게 개발하고, 운영하기 위한 소프트웨어 툴 및 서비스 집합을 말한다. 따라서 다양한 시스템 플렛홈 상에서의 클라이언트/서브 분산 컴퓨팅 구축기술이 표준에 준수하며, 개방성을 지향할 때 이는 사용자의 생산성을 극대화하고, 전산 시스템의 비전을 향한 진화과정에서 가장 중요한 부분을 차지하리라 기대된다.

하둡 분산파일시스템에서 안전한 쓰기, 읽기 모델과 평가

방세중 ( Sechung Pang ),나일균 ( Ilkyeun Ra ),김양우 ( Yangwoo Kim ) 한국인터넷정보학회 2012 인터넷정보학회논문지 Vol.13 No.5

요즘 클라우드 컴퓨팅이 활성화됨에 따라 분산파일시스템의 요구가 증대되고 있지만 클라우드 컴퓨팅 환경에서 민감한 개인정보의 악용을 방지하는 분산파일시스템의 프레임은 아직 없다. 그래서 이 논문에서는 비밀분산 방법을 이용하여 분산파일시스템을 위한 안전한 쓰기/읽기 모델을 제시하였다. 이 모델은 비밀분산 방법을 사용하여 분산파일시스템의 기밀성뿐만 아니라 가용성도 보장한다. 또 제안한 방법으로 비밀 분산, 복구를 실행하였고 이를 대표적 암호화 알고리즘인 SEED 알고리즘에 의한 것과 비교를 함으로써 제시한 방법의 우수성을 보였다. 이와 더불어 이 방법이 하둡 분산파일시스템에 쉽게 이식될 수 있도록 하둡 분산파일시스템의 구조에 의존적이지 않은 쓰기/읽기 모델을 제안하였으며, 비밀분산모델의 성능측정방법으로 제안모델에 대한 이론적 평가를 실시하였다. Nowadays, as Cloud computing becomes popular, a need for a DFS(distributed file system) is increased. But, in the current Cloud computing environments, there is no DFS framework that is sufficient to protect sensitive private information from attackers. Therefore, we designed and proposed a secure scheme for distributed file systems. The scheme provides confidentiality and availability for a distributed file system using a secret sharing method. In this paper, we measured the speed of encryption and decryption for our proposed method, and compared them with that of SEED algorithm which is the most popular algorithm in this field. This comparison showed the computational efficiency of our method. Moreover, the proposed secure read/write model is independent of Hadoop DFS structure so that our modified algorithm can be easily adapted for use in the HDFS. Finally, the proposed model is evaluated theoretically using performance measurement method for distributed secret sharing model.

클라우드 컴퓨팅에서의 대용량 데이터 처리와 관리 기법에 관한 조사

이경하(Kyong-Ha Lee),최현식(Hyunsik Choi),정연돈(Yon Dohn Chung) 한국정보과학회 2011 정보과학회논문지 : 데이타베이스 Vol.38 No.2

클라우드 컴퓨팅은 규모의 경제를 실현할 수 있는 큰 데이터 센터로부터 컴퓨팅을 필요에 따라 임대하여 이용할 수 있게 한다. 보다 저렴하고 효과적인 컴퓨팅 방법을 제공함에 따라 클라우드 컴퓨팅은 IT 기업과 학계 양쪽의 많은 관심을 받고 있다. 클라우드 컴퓨팅에서의 데이터 처리는 특정 데이터센터들을 구성하는 수천, 수만 대의 노드 컴퓨터를 이용한 병렬 처리로 수행된다. 이러한 비공유 구조 상의 병렬 처리는 전통적인 분산, 병렬 컴퓨팅 분야에서 그간 많이 연구되어 왔으나, 전통적인 병렬 처리와는 구별되는 특징이 있다. 또한 클라우드 컴퓨팅에서의 데이터 관리는 DBMS와 같은 전통적 데이터 관리 기법과는 많은 차이를 가진다. 이러한 차이는 고성능, 고가용성을 위한 데이터 복제의 적극적인 이용, DBMS에서보다 더 완화된 일관성 모델, 좀더 단순한 접근 패턴과 유연한 데이터 모델 등에 기인한다. 이 논문에서는 현재 클라우드 컴퓨팅 분야에 적용된 여러 데이터 처리/관리에 관한 기법들을 조사한다. 또한, 컴퓨팅 작업의 성격에 따른 적합한 데이터 처리/관리 기술의 선택을 위한 가이드라인을 제시한다. 마지막으로 클라우드 컴퓨팅에서의 연구 이슈들과 도전 분야들을 소개한다. Cloud computing, "an old idea whose time has finally come" [1], has been gaining much interest from both IT industry and academia since it promises a cheaper and better way of computing by leasing their computing from the data centers of IT companies which are big enough to realize the economy of scale. In cloud computing, data processing is parallelized across tens of thousands of node computers which compose certain data centers. Although traditional distributed and parallel computing models such as parallel DBMS have already been discussed for many years, there are distinct differences between cloud computing and the conventional parallel processing. In addition, managing data in the cloud immensely differs from the conventional DBMS techniques in terms of the aggressive use of data replication for high performance and availability, less strong consistency model, simpler access patterns and the support of less-rigid data model. This paper gives readers a brief survey of techniques for processing and for managing data in cloud computing. Including the current techniques adopted in cloud computing, authors give guidelines about how to select relevant techniques with given work type and workload. Finally, we suggest research issues and opportunities in cloud data processing and management.

Korea@Home 시스템에서 웹 서비스 Open API 활용을 위한 설계

한창환(Chang-Hwan Han),한연희(Youn-Hee Han),길준민(Joon-Min Gil),최장원(Jang-Won Choi),윤준원(Jun-Weon Yoon) 한국정보기술학회 2007 Proceedings of KIIT Conference Vol.2007 No.-

기존의 P2P기반의 분산컴퓨팅 시스템을 일반 응용수행자가 사용하기 위해서는 수동적으로 시스템에 위탁하여 수행하여 왔다. 이러한 구조에서 응용수행자가 자신이 원하는 응용을 분산컴퓨팅에서 수행하고 결과를 받아오는 것은 복잡하고 어려운 과정이었다. 본 논문에서는 이러한 과정을 간편화하고 분산컴퓨팅 시스템의 참여도를 높이기 위하여 웹 서비스 Open API를 사용하여 개방형 분산컴퓨팅 시스템을 설계하였다. 본 논문은 국내에서 2003년도부터 개발된 P2P 기반 분산컴퓨팅 시스템인 Korea@Horne을 소개하고 이 시스템에서 효율적으로 Open API를 제공하기 위한 시스템 모델을 설정하고 테스트베드를 설계한다. 또한, 응용수행자의 응용과 Korea@Home 사이의 인터페이스를 정의하고 그 인터페이스를 활용한 응용 코드의 실례를 제시한다. In the existing P2P-based distributed computing systems, application users have executed their applications passively. In this architecture, application users suffer from some complex and tedious processes, such as executing their application in the distributed systems, receiving final result from the systems, and so on. In this paper, we will design an open distributed system with web service Open APIs in order to enhance the application participation of Korea@Home by simplifying these complex and tedious processes. First, this paper introduces a P2P-based distributed system, namely Korea@Home, which has been developed in Korea from 2003. Second, we propose the system model to provide Open APIs for Korea@Home, and design a testbed under the existing Korea@Home systems. Finally, we define interfaces between applications and Korea@Home systems, and present application codes utilizing the interfaces.

비트맵 기반의 페이지 할당 알고리즘을 적용한 PCIe 기반 메모리 공유 장치 S/W의 설계 및 구현

신재권,최용석,안신영,이상길,이철훈 한국차세대컴퓨팅학회 2018 한국차세대컴퓨팅학회 논문지 Vol.14 No.4

최근 인공지능, 빅데이터 등 분산 컴퓨팅과 관련된 수요가 증가하면서 분산 컴퓨팅 성능을 개선하려는 연구가 활발 히 진행되고 있다. 분산 컴퓨팅 환경에서는 다수의 프로세스가 공유 메모리에 접근하기 때문에 이를 공유하는 메모 리 공간을 분할해야할 필요가 있다. 따라서 본 논문에서는 동일한 연산을 수행하는 프로세스들에 키로 구분되는 공 통의 메모리 영역을 할당 및 공유할 수 있는 S/W를 설계 및 구현하였으며, PCIe로 연결된 FPGA 메모리의 특성상 로컬 메모리에 비해 느린 접근 속도를 보완하기 위해 ‘비트맵 기반 페이지 할당 알고리즘’을 적용하여 메모리 할당, 공유, 반납의 기능을 구현하였다. 그 결과 다중 프로세스가 메모리 간섭을 일으키지 않으며 메모리 할당, 공유, 반납 을 안정적으로 수행함을 확인하였고, 링크 기반 버디 시스템 알고리즘의 성능보다 비트맵 기반 페이지 할당 알고리 즘의 성능이 더 우수함을 확인하였다. As demands for distributed computing such as artificial intelligence and big data have increased recently, there has been an active study to improve distributed computing performance. In a distributed computing environment, since many processes access shared memory, it is necessary to separate the partitions of the shared memory space. Therefore, in this paper, we design and implement a S/W that can allocate and share a common memory area divided into keys in processes that perform the same operation. In order to compensate for slower access speed compared to local memory due to the nature of FPGA connected with PCIe, memory allocation, sharing, and return functions are implemented by applying 'bitmap-based page allocation algorithm'. As a result, it is confirmed that multiple processes do not cause memory interference, and that memory allocation, sharing, and return are performed reliably, and that bitmap-based page allocation algorithm is superior to link-based buddy system algorithm.

Hadoop 기반 분산 컴퓨팅 환경에서 네트워크 I/O의 성능개선을 위한 TIPC의 적용과 분석

유대현(Dae Hyun Yoo),정상화(Sang Hwa Chung),김태훈(Tae Hun Kim) 한국정보과학회 2009 정보과학회논문지 : 시스템 및 이론 Vol.36 No.5

Recently with increase of data in the Internet, platform technologies that can process huge data effectively such as Google platform and Hadoop are regarded as worthy of notice. In this kind of platform, there exist network I/O overheads to send task outputs due to the MapReduce operation which is a programming model to support parallel computation in the large cluster system. In this paper, we suggest applying of TIPC (Transparent Inter-Process Communication) protocol for reducing network I/O overheads and increasing network performance in the distributed computing environments. TIPC has a lightweight protocol stack and it spends relatively less CPU time than TCP because of its simple connection establishment and logical addressing. In this paper, we analyze main features of the Hadoop-based distributed computing system, and we build an experimental model which can be used for experiments to compare the performance of various protocols. In the experimental result, TIPC has a higher bandwidth and lower CPU overheads than other protocols. 최근 인터넷 서비스 기반의 데이터는 대용량화되고 있으며 대용량 데이터를 효과적으로 처리할 수 있는 구글 플랫폼, Apache Hadoop과 같은 플랫폼 기술이 각광받고 있다. 이러한 플랫폼에서는 분산 프로그래밍을 위한 기법으로 MapReduce가 수행되며, 이 과정에서 각 태스크의 결과를 전달하기 위한 네트워크 I/O의 부하 문제가 발생한다. 본 논문에서는 구글 플랫폼, Hadoop과 같은 대규모 PC 클러스터 상의 분산 컴퓨팅 환경에서 네트워킹 부하를 경감하고 성능을 향상시키는 방안으로 TIPC(Transparent Inter-Process Communication)의 적용을 제안한다. TIPC는 경량화된 연결설정 및 스택 크기, 계층적 주소체계로 인해 TCP보다 가볍고 CPU 부하가 적은 장점을 가지고 있다. 본 논문에서는 Hadoop 기반 분산컴퓨팅 환경의 특징을 분석하여 그와 유사한 실험환경을 모델화하고 다양한 프로토콜의 비교실험을 수행하였다. 실험결과 평균 전송률에서 CUBIC-TCP, SCTP와 비교해 TIPC의 성능이 가장 우수하였으며, TIPC는 CPU 점유율 측면에서 TCP와 비교해 최대 15%의 낮은 CPU 점유율을 보였다.

클라우드 컴퓨팅 기반의 대용량 이동객체 분산 처리 시스템

이준우,나연묵 한국차세대컴퓨팅학회 2012 한국차세대컴퓨팅학회 논문지 Vol.8 No.1

위치기반 서비스란 휴대폰과 같은 모바일 단말기 속에 위성 항법장치(GPS)와 연결되는 칩을 부착하여 위치추적 서비스, 공공안전 서비스, 위치기반 정보 서비스 등 위치와 관련된 각종 정보를 제공하는 서비스를 일컫는다. 그리고 클라우드 컴퓨팅이란 개인용 컴퓨터 또는 기업의 서버에 개별적으로 저장해 두었던 자료와 소프트웨어들을 클라우드 클러스터로 구축하여 필요할 때 PC나 휴대폰 같은 각종 단말기를 이용하여 원격 작업을 수행할 수 있는 환경을 의미한다. 본 논문에서는 구글의 연구로부터 시작된 클라우드 컴퓨팅 기술에 주목하고 클라우드 컴퓨팅 환경을 위한 대용량 이동 객체의 정보를 저장하고 질의하는 시스템에 대하여 연구하였다. 그리고 위치 기반 서비스를 위한 대용량 이동객체에 대하여 효율적인 질의를 수행할 수 있는 저장 구조를 제안하였다. 본 논문에서 제안한 방법을 적용한 시스템의 효율성을 증명하기 위해 저장 및 질의 성능을 다양한 측면에서 실험하고, 실험 결과를 다른 분산처리 시스템과의 비교하여 성능을 입증하였다.