URL Signatures for Improving URL Normalization

순레이키(Lay-Ki Soon),이상호(Sang Ho Lee) 한국정보과학회 2009 정보과학회논문지 : 데이타베이스 Vol.36 No.2

URL은 표준 URL 정규화에서 정의한 단계에 의하여 구문적으로 정규화된다. 본 논문에서는 웹 페이지의 메타데이타를 이용하여 표준 URL 정규화를 보완하는 기법을 제안한다. 메타데이타는 HTML 분석 도중 추출될 수 있는 웹 페이지 본문과 페이지 크기이다. 첫 번째 실험에서는 웹 페이지 본문이 동등한 URL 식별에 효과적이라는 것을 보인다. 두 번째 실험에서는 웹 페이지 본문을 Message-Digest 5 알고리즘으로 해싱하여 URL 서명을 만들며, 동일한 서명을 가지는 URL은 동일하게 취급한다. 두 번째 실험 결과에서, 우리가 제시한 URL 서명이 표준 URL 정규화와 비교하여 32.94%의 중복 URL을 더 감소시킬 수 있음을 알 수 있었다. In the standard URL normalization mechanism, URLs are normalized syntactically by a set of predefined steps. In this paper, we propose to complement the standard URL normalization by incorporating the semantically meaningful metadata of the web pages. The metadata taken into consideration are the body texts and the page size of the web pages, which can be extracted during HTML parsing. The results from our first exploratory experiment indicate that the body texts are effective in identifying equivalent URLs. Hence, given a URL which has undergone the standard normalization, we construct its URL signature by hashing the body text of the associated web page using Message-Digest algorithm 5 in the second experiment. URLs which share identical signatures are considered to be equivalent in our scheme. The results in the second experiment show that our proposed URL signatures were able to further reduce redundant URLs by 32.94% in comparison with the standard URL normalization

그래프 기반의 피싱 URL 탐지

김태리(Taeri Kim),홍지원(Jiwon Hong),박노성(Noseong Park),김상욱(Sang-Wook Kim) 한국정보과학회 2020 정보과학회 컴퓨팅의 실제 논문지 Vol.26 No.3

피싱을 통한 사이버 범죄가 늘어나고 있다. 피싱이 초래하는 피해를 방지하기 위해 콘텐츠 기반, URL 문자열 기반 등 많은 피싱 URL 관련 연구들이 진행되어 왔다. 콘텐츠 기반 방법은 웹 페이지 콘텐츠를 다운로드하고 분석하는 방법으로, 보안상 위험이 따르는 단점이 존재한다. URL 문자열 기반 방법은 URL 문자열 패턴을 분석하고 이를 피싱 URL 탐지에 사용한다. 본 논문에서는 기존 연구로부터 확인된 피싱 URL의 경향에서 착안하여, URL 문자열을 그래프로 구축하고 Random Walk with Restart, Belief Propagation과 같은 그래프 추론 알고리즘과 DeepWalk, Node2vec과 같은 그래프 임베딩 기법을 통해 URL의 피싱 여부를 예측한다. 우리의 그래프 기반 피싱 URL 탐지 방법과 분류 알고리즘을 활용한 기존 피싱 URL 탐지 방법을 비교한 결과, 그래프 기반 방법이 모든 정확도 척도에서 더 높은 성능을 보였다. Cyber crime through phishing is on the rise. To prevent the damage caused by phishing attacks, many studies to detect phishing URLs such as content-based and string-based have been conducted. A content-based method is a method of downloading and analyzing web page content, which poses a security risk. The string-based method analyzes URL string patterns and uses them for phishing URL detection. In this paper, we construct a graph with URL strings based on the phishing URL trends identified from previous studies. And, we detect phishing URLs through the graph-based inference algorithms such as Random Walk with Restart, Belief Propagation, and graph embedding methods such as DeepWalk, Node2vec. As a result of comparing our graph-based phishing URL detection method with the conventional phishing URL detection methods, our method shows better prediction performance in all accuracy measures.

SHRT : 유사 단어를 활용한 URL 단축 기법

윤수진(Soojin Yoon),박정은(Jeongeun Park),최창국(Changkuk Choi),김승주(Seungjoo Kim) 한국통신학회 2013 韓國通信學會論文誌 Vol.38 No.6B

단축 URL은 짧은 URL을 긴 URL 대신에 사용하는 방식으로, 짧은 URL이 긴 URL에 리다이렉션되는 방식이다. 단축 URL은 생성과 사용이 간편하고, 글자수가 제한된 마이크로 블로깅 서비스의 사용이 증가함에 따라 폭발적으로 사용량이 증가하였다. 단축 URL의 사용이 간편하기 때문에, 메일, SMS, 책에서도 많이 사용되고 있다. 그러나 대부분의 단축 URL은 연결된 URL과의 어떠한 연관성도 없어, 사용자는 단축 URL에 직접 확인하기 전까지는 무엇에 관한 URL인지 모른다. 연결된 URL을 알 수 없다는 점을 악용하여, 단축 URL은 피싱 사이트나 악성코드 유포 등에 쓰인다. 기존에 이러한 문제를 극복하기 위해 단축 URL 서비스 사이트의 이름을 바꾸거나, 웹사이트의 정보를 반영하거나, 지역 이름의 줄임말 같은 단축어 사용 등의 시도가 있었으나, 각각의 방법에는 자동화의 어려움, 상대적으로 긴 단축 URL 길이, 적용 범위 한계가 각각의 문제점으로 적용하였다. 앞선 문제점을 보완하기 위하여, 본 논문은 아랍어의 모음이 없는 문자 시스템에서 착안하여 URL 사이트 이름에서 모음을 탈락시킨 유사한 문자열을 이용하여 단축 URL 방식 SHRT를 제안한다. Shorten URL service is the method of using short URL instead of long URL, it redirect short url to long URL. While the users of microblog increased rapidly, as the creating and usage of shorten URL is convenient, shorten url became common under the limited length of writing on microblog. E-mail, SMS and books use shorten URL well, because of its simplicity. But, there is no relativeness between the most of shorten URLs and their target URLs, user can not expect the target URL. To cover this problem, there is attempts such as changing the shorten URL service name, inserting the information of website into shorten URL, and the usage of shortcode of physical address. However, each ones has the limits, so these are the trouble of automation, relatively long address, and the narrowness of applicable targets. SHRT is complementary to the attempts, as getting the idea from the writing system of Arabic. Though the writing system of Arabic has no vowel alphabet, Arabs have no difficult to understand their writing. This paper proposes SHRT, new method of URL Shortening. SHRT makes user guess the target URL using Relative word of the lowest domain of target URL without vowels.

URL 정규화의 적용 효과 및 평가

정효숙(Hyo Sook Jeong),김성진(Sung Jin Kim),이상호(Sang Ho Lee) 한국정보과학회 2006 정보과학회논문지 : 데이타베이스 Vol.33 No.5

A web page can be represented by syntactically different URLs. URL normalization is a process of transforming URL strings into canonical form. Through this process, duplicate URL representations for a web page can be reduced significantly. A number of normalization methods have been heuristically developed and used, and there has been no study on analyzing the normalization methods systematically. In this paper, we give a way to evaluate normalization methods in terms of efficiency and effectiveness of web applications, and give users guidelines for selecting appropriate methods. To this end, we examine all the effects that can take place when a normalization method is adopted to web applications, and describe seven metrics for evaluating normalization methods. Lastly, the evaluation results on 12 normalization methods with the 25 million actual URLs are reported. 하나의 웹 문서는 문법적으로 서로 다른 두개 이상의 URL들로 표현 가능하다. URL 정규화는 URL을 정형화된 형태로 변환하는 과정이다. 정규화 과정을 통하여, 동일 웹 문서를 나타내는 URL들은 문법적으로 동일 URL들로 변환된다. 현재까지 정규화 방법의 개발 및 적용은 개발자의 경험적 지식에 기반을 두고 있으며, 체계적인 분석에 대한 연구가 부재하다. 본 논문에서는 웹 어플리케이션의 효율성과 효과성 측면에서 정규화 방법들을 평가하여 적절한 정규화 방법의 선택에 대한 지침 제공을 목적으로 한다. 또한, 웹 어플리케이션에서 정규화 적용으로 발생하는 효과를 분석하고, URL 정규화 평가를 위한 7가지 척도를 기술한다. 끝으로, 실제 웹 문서에서 추출된 약 2천 5백만개의 URL들을 대상으로 12개의 정규화방법이 평가된다.

A Study on the Detection Method for Malicious URLs Based on a Number of Search Results Matching the Internet Search Engines Combining the Machine Learning

Jang Minhae,Song Jaeju,Kim Myongsoo 대한전기학회 2022 Journal of Electrical Engineering & Technology Vol.17 No.1

With the development of IoT technology, everything in our daily lives became connected, forming a hyperconnected society. Subsequently, the importance of cyber security is being emphasized. Among them, cyber-attacks using malicious URLs have emerged as an addressing the issue of social problems. Malicious URLs are used by attackers with malicious purposes such as smishing, pharming, and phishing to steal user's information using abnormal URLs. In order to detect and block such malicious URL attacks, it is best that individuals not click on suspicious URL addresses. However, this is diffi cult because the contents that contain the URLs are alluring. Before, malicious URLs were detected through Blacklist/Whitelist techniques, but they couldn't protect users from new and variant attacks. On this, a malicious URL detection method based on the diff erence in length (amount of search volume) of normal and abnormal URLs was studied using the search engines. However, this technique showed little diff erence in the search volume of normal/abnormal URLs when searched from a low-profi le URL. In addition when an abnormal URL is very similar to the original URL, there is almost no diff erence in the search volume since abnormal URLs change the automatic search of the portal site's search engine, making it impossible to be detected. To solve these, in this paper, we propose a malicious URL detection method based on Count which is a number of search results matching the search URL.

논리적 URL 사용을 위한 포워딩 서버의 설계 및 구현

양희재 한국정보통신학회 2003 한국정보통신학회논문지 Vol.7 No.2

웹이 인터넷 정보도구의 표준으로 자리잡게 됨에 따라 점점 더 많은 웹 사이트들이 만들어졌고, 동시에 더 많은 웹 주소 공간이 필요하게 되었다. 그러나 웹 주소를 나타내는 물리적 URL은 기억하기에 너무 길뿐 아니라 웹 사이트 내용을 직관적으로 나타내기 어려운 점이 많았다. 본 논문에서는 물리적 URL 대신 논리적 URL을 사용하여 이런 어려움을 개선할 수 있도록 하는 URL 전달 서버의 구현에 대해 고찰하였다. URL 전달서버는 HTTP 재방향 트랜잭션을 이용하는 도메인 매퍼와 BIND에 기반한 네임서버로 구성되어지며, 본 논문에서는 이들 상호간의 작용 및 동작에 대해 상세히 연구하였다. 실험 결과 URL 전달에 따른 시간은 현재의 인터넷 트래픽 조건에 비해 무시할 만한 수준인 것으로 나타났다. A lot many WWW sites are come into the world more and more as Web is considered as the unified Internet information tool. The location of each site or resource is usually specified by a physical URL, which is often too long to remember and tends to raise difficulty to show the aim of the site intuitively by seeing it. Since any person or organization can get his/her own domain name easily, it is more desirable to use a logical URL with the domain name which can be chosen more compact to remember and meaningful to represent the ultimate intention of the site. This paper presents an implementation of a URL forwarding server which forwards a URL to another, so that a WWW site can use a logical URL instead of a physical one. The server consists of a domain mapper which uses the redirection transaction of the HTTP protocol, and a name server based on the HIND. The paper shows how the interaction between the domain mapper and the name sever can make forwarding possible and describes its implementation in detail. Experimental results shows that the overhead incurred by URL forwarding is negligible compared to the typical delay of current Internet traffic condition.

OTACUS: 간편URL기법을 이용한 파라미터변조 공격 방지기법

김귀석 ( Guiseok Kim ),김승주 ( Seungjoo Kim ) 한국인터넷정보학회 2014 인터넷정보학회논문지 Vol.15 No.6

웹 애플리케이션에서 클라이언트와 서버간의 정보전달의 핵심요소인 URL 파라미터는 F/W이나 IPS등의 네트워크 보안장비를 별다른 제약없이 통과하여 웹서버에 전달된다. 공격자는 이렇게 전달되는 파라미터를 변조하여 조작된 URL을 요청하는 것만으로도 인가 받지 않은 기밀정보를 유출하거나 전자상거래를 통하여 금전적 이익을 취할 수 있다. 이러한 파라미터변조 취약점은 해당 애플리케이션의 논리적 판단에 의해서만 조작여부를 확인할 수 있어 웹 방화벽에서 차단할 수 없다. 이에 본 논문에서는 기존 방지기법의 취약점을 점검하고 이를 보완하는 OTACUS (One-Time Access Control URL System)기법을 제시한다. OTACUS는 파라미터가 포함된 복잡한 URL을 단순화 하는 간편URL기법을 이용하여 공격자에게 URL노출을 막음으로써 POST이나 GET방식으로 서버로 전달되는 파라미터의 변조를 효과적으로 차단할 수 있다. 실제 구현된 OTACUS의 성능 실험결과 3%이내의 부하가 증가함을 보여 안정적인 운영이 가능함을 증명한다. In a Web application, you can pass without restrictions special network security devices such as IPS and F/W, URL parameter, which is an important element of communication between the client and the server, is forwarded to the Web server. Parameters are modulated by an attacker requests a URL, disclose confidential information or through e-commerce, can take financial gain. Vulnerability parameter manipulation thereof cannot be able to determine whether to operate in only determined logical application, blocked with Web Application Firewall. In this paper, I will present a technique OTACUS(One-Time Access Control URL System) to complement the shortcomings of the measures existing approaches. OTACUS can be effectively blocked the modulation of the POST or GET method parameters passed to the server by preventing the exposure of the URL to the attacker by using clean URL technique simplifies complex URL that contains the parameter. Performance test results of the actual implementation OTACUS proves that it is possible to show a stable operation of less than 3% increase in the load

사용자 경험을 고려한 규칙기반 악성 URL 탐지 라이브러리 개발

김보민,한예원,김가영,김예분,김형종 한국정보보호학회 2020 정보보호학회논문지 Vol.30 No.3

The malicious URLs which can be used for sending malicious codes and illegally acquiring private information is one ofthe biggest threat of information security field. Particularly, recent prevalence of smart-phone increases the possibility of theuser’s exposing to malicious URLs. Since the way of hiding the URL from the user is getting more sophisticated, it isgetting harder to detect it. In this paper, after conducting a survey of the user experiences related to malicious URLs, weare proposing the rule-based malicious URL detection method. In addition, we have developed java library which can beapplied to any other applications which need to handle the malicious URL. Each class of the library is implementation of arule for detecting a characteristics of a malicious URL and the library itself is the set of rule which can have the chain ofrule for deteciing more complicated situation and enhancing the accuracy. This kinds of rule based approach can enhancethe extensibility considering the diversity of malicious URLs. 악성 URL의 전송을 통한 악성코드 전파 및 불법적 정보 수집은 정보보안 분야의 가장 큰 위협 중의 하나이다. 특히, 최근 스마트폰의 보급으로 인하여 사용자들이 악성 URL에 노출될 확률이 더욱 높아지고 있다. 또한, 악성URL을 노출 시키는 방법 역시 다양해 지고 있어서 이를 탐지하는 것이 점점 어려워지고 있다. 본 논문은 악성URL에 대한 사용자의 경험에 대한 설문을 진행한 후, 이를 고려하여 악성 URL을 규칙기반으로 탐지하기 위한 라이브러리 개발 연구를 다루고 있다. 특히, 본 연구에서는 독자적인 규칙을 기반으로 악성 URL을 탐지 하기 위해Rule-set을 정의하고, Rule-chain을 생성하여 악성 URL 탐지의 확장성을 제시하고 있다. 또한 어떤 애플리케이션에서도 활용이 가능한 라이브러리 형태로의 개발을 통해 다양한 응용프로그램에서 활용할 수 있도록 하였다.

악성 URL 탐지 및 필터링 시스템 구현

장혜영(Hye-Young Chang),김민재(Min-Jae Kim),김동진(Dong-Jin Kim),이진영(Jin-Young Lee),김홍근(Hong Kun Kim),조성제(Seong-Je Cho) 한국정보과학회 2010 정보과학회 컴퓨팅의 실제 논문지 Vol.16 No.4

2008년도 SecruityFocus 자료에 따르면 마이크로소프트사의 인터넷 익스플로러를 통한 클라이언트 측 공격(client-side attack)이 50%이상 증가하였다. 본 논문에서는 가상머신 환경에서 능동적으로 웹 페이지를 방문하여 행위 기반(즉, 상태변경 기반)으로 악성 URL을 분석하여 탐지하고, 블랙리스트 기반으로 악성 URL을 필터링하는 시스템을 구현하였다. 이를 위해, 우선 크롤링 시스템을 구축하여 대상 URL을 효율적으로 수집하였다. 특정 서버에서 구동되는 악성 URL 탐지 시스템은, 수집한 웹페이지를 직접 방문하여 머신의 상태 변경을 관찰 분석하고 악성 여부를 판단한 후, 악성 URL에 대한 블랙리스트를 생성·관리한다. 웹 클라이언트 머신에서 구동되는 악성 URL 필터링 시스템은 블랙리스트 기반으로 악성 URL을 필터링한다. 또한, URL의 분석 시에 메시지 박스를 자동으로 처리함으로써, 성능을 향상시켰다. 실험 결과, 게임 사이트가 다른 사이트에 비해 악성비율이 약 3배 많았으며, 파일생성 및 레지스트리 키 변경 공격이 많음을 확인할 수 있었다. According to the statistics of SecurityFocus in 2008, client-side attacks through the Microsoft Internet Explorer have increased by more than 50%. In this paper, we have implemented a behavior-based malicious web page detection system and a blacklist-based malicious web page filtering system. To do this, we first efficiently collected the target URLs by constructing a crawling system. The malicious URL detection system, run on a specific server, visits and renders actively the collected web pages under virtual machine environment. To detect whether each web page is malicious or not, the system state changes of the virtual machine are checked after rendering the page. If abnormal state changes are detected, we conclude the rendered web page is malicious, and insert it into the blacklist of malicious web pages. The malicious URL filtering system, run on the web client machine, filters malicious web pages based on the blacklist when a user visits web sites. We have enhanced system performance by automatically handling message boxes at the time of ULR analysis on the detection system. Experimental results show that the game sites contain up to three times more malicious pages than the other sites, and many attacks incur a file creation and a registry key modification.

스팸성 자질과 URL 자질의 공동 학습을 이용한 최대 엔트로피 기반 스팸메일 필터 시스템

공미경 ( Mi Gyoung Gong ),이경순 ( Kyung Soon Lee ) 한국정보처리학회 2008 정보처리학회논문지B Vol.15 No.1

본 논문에서는 스팸메일에 나타나는 스팸성 자질과 URL 자질의 공동 학습을 이용한 최대엔트로피모델 기반 스팸 필터 시스템을 제안한다.스팸성 자질은 스패머들이 스팸메일에 인위적으로 넣는 강조 패턴이나 필터 시스템을 통과하기 위해 비정상적으로 변형시킨 단어들을 말한다.스팸성 자질 외에 반복적으로 나타나는 URL과 비정상적인 URL도 자질로 사용하였다. 메일에 나타난 정상적인 URL과 필터 시스템을 피하기 위해 변형된 비정상적인 URL들이 스팸 메일을 걸러내는데 도움을 줄 수 있기 때문이다. 또한 스팸성 자질과 URL자질을 이용한 공동 학습을 하였다. 공동 학습은 학습 과정에서 두 자질을 독립적으로 이용한 비지도 학습 방법으로 정답을 모르는 문서를 이용할 수 있다는 장점을 갖는다. 실험을 통해 스팸성 자질과 URL을 이용함으로써 스팸 필터 시스템의 성능을 향상시킬 수 있음을 확인하였으며 두 자질 집합을 이용한 공동 학습이 필요한 학습 문서의 수를 감소시키면서, 정확도는 일괄 학습 정확도에 근접한다는 것을 확인하였다. This paper presents a spam filter system using co-training with spamminess features and URL features based on the maximum entropy model. Spamminess features are the emphasizing patterns or abnormal patterns in spam messages used by spammers to express their intention and to avoid being filtered by the spam filter system. Since spammers use URLs to give the details and make a change to the URL format not to be filtered by the black list, normal and abnormal URLs can be key features to detect the spam messages.Co-training with spamminess features and URL features uses two different features which are independent each other in training. The filter system can learn information from them independently. Experiment results on TREC spam test collection shows that the proposed approach achieves 9.1% improvement and 6.9% improvement in accuracy compared to the base system and bogo filter system, respectively.The result analysis shows that the proposed spamminess features and URL features are helpful. And an experiment result of the co-training shows that two feature sets are useful since the number of training documents are reduced while the accuracy is closed to the batch learning.