RF 충전 인지 무선 네트워크에서 전송 성능 향상 기법 연구 = Research on Performance Improvements of RF-powered Cognitive Radio Networks

다국어 초록 (Multilingual Abstract)

With the prevalence of wireless signals, radio frequency (RF) energy harvesting (EH) has received substantial attention and becomes a candidate for self-sustainable energy supply. Various works show that the harvested energy from ambient RF sources could range from micro-Watts to milli-Watts and it varies depending on environmental factors and energy receiver. In cognitive radio networks (CRNs), RF EH becomes a promising approach to support both spectral and energy utilization efficiencies. A considerable number of works focused on RF-powered CRNs from different perspectives.

The EH secondary transmitter (ST) equips with an RF transceiver and an RF energy harvester with separated antennas. Therefore, the EH ST can harvest energy from the same frequency band for information transmission and different from that for information transmission. Without additional energy supply, the ST has to harvest sufficient energy from ambient RF sources to support information transmission. Therefore, the achievable throughput of the secondary system significantly depends on the opportunity for accessing an idle channel and harvested energy supporting active transmission.

In this paper, we define an -slot charging system corresponding to the maximum number of energy harvesting slots to support the target signal-to-noise ratio. For opportunistic spectrum access, the ST needs to perform channel sensing to find an idle channel or can learn the optimal policy by interacting with the primary channel.

Firstly, in a single-slot charging system, the ST harvests energy from the frequency band different from information transmission. For analysis on achievable throughput, we develop a Markov based battery model in which the energy state varies depending on harvesting and transmission. From the Markov model, the probability that the energy outage occurs was computed, and the active transmission throughput was derived accordingly. Monte-Carlo simulation was performed to show an agreement between the analysis and simulation results. Also, we propose a double-slot sensing scheme in which the ST sequentially senses up to 2 different channels to find an idle channel. The improved throughput was validated through simulation results.

Secondly, in a multi-slot charging system, the ST harvests energy from a busy channel and transmit information when the primary channel becomes idle. We develop a quasi-birth-and-death (QBD) process-based energy variations to derive the stationary probability of energy deficit consisting of multiple energy states in which active transmission is unavailable. We also apply the ambient backscatter communications with which the ST can transmit information on a busy channel and consumes a negligible amount of energy. To support efficient energy replenishment, we propose a stochastic mode selection scheme so that the two modes are stochastically selected when the primary channel is busy. We propose an energy level-dependent mode selection scheme to flexibly control the probability at each energy level for further improvements. Monte-Carlo simulation was performed to validate the analysis and compare the achievable throughputs between level-independent and level-dependent schemes.

Lastly, different from opportunistic accessing based on channel sensing, we propose a reinforcement learning-based mode optimization scheme in which the ST can learn the optimal policy through rewards obtained by interacting with the primary channel. To be more specific, the ST performs harvesting mode observing the variations on energy state to predict the primary channel state. We formulate the proposed scheme with a Markov decision process and design a deep Q-network (DQN) for mode optimization. The achievable throughput was validated through simulations by considering a greedy policy based on the trained DQN model. It was compared with the ideal case when the complete information about the primary channel is provided. Simulation results demonstrated that the proposed scheme could achieve the throughput close to the ideal case in some conditions.

국문 초록 (Abstract)

정보와 에너지를 동시에 전송할 수 있는 무선 주파수 (Radio Frequency; RF) 신호로부터 에너지를 수집하고자 하는 RF 에너지 수집 (Energy Harvesting; EH) 기술이 센서 (Sensor) 노드와 같은 저전력 (Low-power) 단말의 자기 유지 가능한 (Self-sustainable) 에너지 공급 기술로 부상하였다. RF EH 기능을 갖는 단말은 RF 신호를 전기 신호로 변환하여 정보를 처리하고 전송하기 위해 사용하며, 주변의 RF 공급원으로부터 수 W부터 수 mW 수준에 달하는 에너지를 수집할 수 있음이 검증되었다. 또한 에너지 사용 효율과 더불어 주파수 이용 효율을 극대화하기 위해 동적 스펙트럼 접근 (Dynamic Spectrum Access) 방식의 하나인 인지 무선 (Cognitive Radio; CR) 기술과 결합한 RF 충전 CR 네트워크에 대한 연구가 다양한 방식으로 진행되고 있다.

RF 충전 CR 네트워크에서 2차 송신단말 (Secondary Transmitter; ST)은 RF 송수신기 (Transceiver)와는 독립적인 에너지 수집기 (Energy Harvester)를 사용하여 정보를 전송하는 채널에 접근하여 기회적으로 에너지를 수집하거나, 정보 전송과는 다른 채널에 접근하여 에너지를 수집할 수 있다. RF 에너지 수집을 제외한 추가적인 에너지 공급원이 없는 경우에 ST는 에너지 수집을 통해 Active 전송이 가능한 에너지를 확보해야 한다. 따라서 ST의 전송 성능은 비어 있는 1차 채널에 접근할 수 있는 기회와 주변 RF 공급원으로부터 수집 가능한 에너지의 영향을 받게 된다.

본 연구에서는 ST가 목표 SNR을 만족하기 위한 송신전력을 유지하는 경우에, 이와 같은 송신전력을 지원할 수 있는 RF 에너지 수집 과정에 따라 싱글-슬롯 충전과 멀티-슬롯 충전 시스템으로 나누어서 연구를 진행한다. 또한 1차 채널의 점유 상태를 센싱 기반으로 획득하는 방식과 1차 채널과 상호작용 하면서 받는 보상을 통해 최적의 정책을 학습하는 방식을 고려한다.

첫 번째로 싱글-슬롯 충전 시스템에서는 에너지 수집과 정보 전송을 서로 다른 1차 채널에 접근하여 수행하는 경우를 고려하였다. ST의 Active 전송 성능을 도출하기 위해 에너지 수집과 정보 전송을 통해 증가와 감소를 반복하는 에너지의 상태 변화를 Markov 과정으로 모델링하였으며, Active 전송이 제한되는 Energy Outage가 발생할 확률을 도출하였다. 비어 있는 1차 채널에 접근 가능한 기회를 증가하기 위해, 더블-슬롯 센싱 기법을 제안하여 순차적으로 최대 2개의 채널을 센싱하는 방안을 연구하였다. 모의실험을 통해 제안된 Markov 기반 에너지 변화 모델의 정확도와 더블-슬롯 센싱을 통해 개선된 ST의 전송 성능을 검증 및 분석하였다.

두 번째로는 멀티-슬롯 충전 시스템에서 ST가 점유된 1차 채널에 접근한 경우에 에너지를 수집하고, 수집한 에너지를 사용하여 1차 채널이 비어 있는 동안에 정보를 전송하는 경우를 고려하였다. ST의 에너지 변화를 유사출생사멸 (Quasi-Birth-and-Death) 과정으로 모델링하였으며, Active 전송이 제한되는 다수의 에너지 상태들로 구성된 Energy Deficit와 에너지가 고갈되는 Energy Outage가 발생할 확률을 도출하여 ST의 전송 성능을 분석하였다. 에너지 수집과 정보 전송이 1차 시스템의 영향을 크게 받는 ST의 전송 성능을 향상하기 위해, 점유된 1차 채널에 접근하여 정보를 전송할 수 있는 주변 후방산란 통신 (Ambient Backscatter Communications; AmBC) 기술을 적용하였다. 모의실험을 통해 도출한 Active 전송 성능의 정확도를 검증하였으며, AmBC 기술을 통해 개선 가능한 ST의 전송 성능을 확인하였다. 또한 에너지의 레벨에 종속적으로 에너지 수집 모드와 주변 후방산란 모드를 선택하는 기법을 제안하였으며, 모의실험을 통해 모든 에너지 레벨에서 동일한 확률로 모드를 선택하는 기법에 비해 향상된 성능을 얻을 수 있음을 검증하였다.

세 번째로 센싱 기반으로 1차 채널에 접근하는 방식이 아닌, 1차 채널과 상호작용 하면서 받는 보상을 통해 최적의 정책을 학습할 수 있는 강화학습 기반 모드 최적화 기법을 제안하였다. 에너지를 수집하는 과정에서 발생하는 상태의 변화로부터 환경에서 받게 될 보상을 예측하고, DQN 알고리즘을 사용하여 제안 기법을 학습시켰다. 학습된 DQN 모델로부터 탐욕 정책으로 행동하면서 1차 채널의 점유 상태에 대한 완벽한 정보가 주어지는 이상적인 “Complete Information” 경우와의 성능을 비교하였으며, 환경에 따라 Complete Information을 가정한 경우에 근접한 성능을 얻을 수 있음을 확인하였다.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구의 배경 및 필요성 1
• 1.2 논문의 구성 4
• 제 2 장 RF 충전 인지 무선 네트워크 5
• 2.1 1차 채널 모델 6
• 2.2 1차 채널 접근 방식 7
• 2.2.1 센싱 기반 채널 접근 8
• 2.2.2 학습 기반 채널 접근 12
• 2.3 RF 에너지 수집 13
• 2.4 Active 전송 성능 14
• 제 3 장 싱글-슬롯 충전 시스템에서 성능 향상 기법 17
• 3.1 RF 에너지 수집 모델 17
• 3.2 sEH ST의 전송 성능 19
• 3.2.1 제안된 Markov 기반 에너지 변화 모델 19
• 3.2.2 Energy Outage 확률 22
• 3.2.3 모의실험 결과 30
• 3.3 더블-슬롯 센싱 기반 성능 향상 방안 35
• 3.3.1 2s-sEH ST의 전송 성능 35
• 3.3.2 모의실험 결과 41
• 3.4 요약 47
• 제 4 장 멀티-슬롯 충전 시스템에서 성능 향상 기법 48
• 4.1 기회적 에너지 수집 및 정보 전송 48
• 4.2 제안된 QBD 과정 기반 에너지 변화 모델 50
• 4.2.1 mEH ST의 전송 성능 54
• 4.2.2 모의실험 결과 59
• 4.3 주변 후방산란 통신 기반 성능 향상 방안 63
• 4.3.1 에너지 레벨독립 모드 선택 65
• 4.3.2 AmBC-EH ST의 전송 성능 68
• 4.3.3 모의실험 결과 70
• 4.4 제안된 에너지 레벨종속 모드 선택 75
• 4.4.1 LDQBD 기반 에너지 변화 모델 76
• 4.4.2 LD-MS ST의 전송 성능 78
• 4.4.3 모의실험 결과 82
• 4.5 요약 87
• 제 5 장 강화학습 기반 모드 최적화를 통한 성능 향상 기법 88
• 5.1 강화학습 88
• 5.1.1 마르코프 결정 과정 89
• 5.1.2 심층 Q-네트워크 90
• 5.2 제안된 강화학습 기반 모드 최적화 93
• 5.2.1 제안 기법의 MDP 문제 정의 97
• 5.2.2 DQN 학습 결과 및 검증 101
• 5.2.3 제안 기법의 성능 비교 106
• 5.3 요약 109
• 제 6 장 결론 110
• 참고문헌 111
• 부록 119