Music Classification Scheme Based on EfficientNet-B3

Park Kyuwon,Jeon Jueun,Park Sihyun,Jeong Young-Sik 한국컴퓨터산업협회 2023 Human-centric Computing and Information Sciences Vol.13 No.-

Several studies have been conducted music genre classification methods for music streaming services to effectively search and recommend music. The existing methods accurately classify known music genres, whereas they cannot distinguish unknown from known music genres or correctly classify unknown music genres as specific known music genres. Thus, this study proposes an unknown music genre classification (U-MGC) scheme that classifies both known and unknown music genres. The U-MGC generates mel-spectrogram images from audio data to indicate frequency changes over time. Then, U-MGC classifies the audio data into specific music genres by inputting the generated images into the EfficientNet-B3 model, which is constructed based on the placeholder for open-set recognition (PROSER) algorithm. Since the U-MGC is generalized for the entire music genre, it accurately classifies different types of unknown music genres. The evaluation results showed that the classification performance of the proposed U-MGC was 74.1% for the GTZAN dataset and 65.6% for the FMA large dataset. These U-MGC improved accuracy by 1.7% to 2.1% compared to the existing music genre classification methods.

장르 분류 체계에 따른 음악 장르 자동 판별 성능분석

송민균(Min Kyun Song),문창배(Chang Bae Moon),김현수(HyunSoo Kim),김병만(Byeong Man Kim),오득환(Dukhwan Oh),유경령(Qing-Ling Liu) 한국정보과학회 2012 정보과학회논문지 : 소프트웨어 및 응용 Vol.39 No.3

기존 음악 장르 분류의 경우 대부분의 연구가 음악의 특징 추출 또는 기계학습에 중점을 두어 진행하여왔다. 하지만, 기계학습에 사용되는 장르 데이터가 웹 사이트마다 다르고 각 웹사이트의 장르가 해당 음악의 장르가 아닌 해당 음악이 속한 앨범의 장르로 표시하기 때문에 해당 음악의 장르가 앨범의 장르와 정확히 일치한다고 할 수 없다. 장르 분류 시스템 간의 객관적인 성능분석을 위해서는 일관된 음악 장르 데이터 구축이 필요한데, 이러한 연구의 일환으로 본 논문에서는 현재 음악을 제공하는 각 웹사이트에서 다르게 제공하는 장르 데이터에 따른 성능 분석을 하였고, 또한 새로운 장르 분류법을 제안하고 이의 성능도 분석하였다. 분석 결과 분류 방법에 따라 판별성능이 다소 차이가 발생하였으며 그 중 Allmusic에서 제공한 장르 분류가 가장 좋은 성능을 보였다. 하지만 실험 시 학습 및 판별에 사용한 데이터의 수를 고려한다면 Allmusic보다는 벅스에서 제공된 장르/스타일 사전을 이용하여 장르를 분류한 결과가 더 좋은 신뢰성을 가진다고 할 수 있다. Most of researches on music genre classification have focused on extraction of features and machine learning. However, the genre data used in machine learning differ from web site to web site and the genre of music is usually determined by the genre of album containing the music. So, the actual genre of music can't be match with the genre provided by the web site. For a fair comparison between genre classification systems, we need to build coherent genre data. For this purpose, in this paper, we first analyze classification performances with each genre data of a few web sites providing music category service. Also, we propose two genre assignment methods and analyze their classification performances. The analysis result shows that the classification performance varies with genre data and the best performance is shown for the genre data of Allmusic. But the genre data generated by use of Bugs' genre/style dictionary are more reliable than Allmusic when considering the number of data involved in training and testing.

Label Prediction of the Unlabeled Mood of a Music Genre Using Semi-Supervised Learning

Babu Kaji Baniya,이준환 차세대컨버전스정보서비스학회 2015 차세대컨버전스정보서비스기술논문지 Vol.4 No.2

Music genre and mood classifications are vital components of the field of multimedia retrieval and computational musicology. There is a growing interest in their development to address the difficulties of music categorization. The proposed method finds the unlabeled mood of a music genre with the help of labeled music mood datasets using different audio feature sets. Semi-supervised learning, which exploits huge amounts of unlabeled data, together with the limited labeled data for learning, has attracted a great deal of research interests. In this paper, we propose diverse audio features to precisely characterize music content. The feature sets belong to four groups: dynamic, rhythmic, spectral, and harmonic. A bin histogram was calculated from each feature to preserve all the important information associated with it. From the extracted audio features, we first tried to find the unlabeled mood of a music genre by using the labeled mood dataset. Harmonic and consistency (local and global) semi-supervised learning algorithms were considered to determine the unknown mood label of a music genre. In the next stage, we also evaluated whether unlabeled genre datasets would influence the mood classification accuracy. The unlabeled datasets were added to the training set in different proportions, so that the overall impact on classification accuracy could be analyzed. We improved the classification accuracy using an unlabeled music genre dataset in training. In the last section, we verified the classification accuracy by adding an unlabeled genre dataset to label mood with only the mood dataset (without adding a genre dataset).

Korean Traditional Music Genre Classification Using Sample and MIDI Phrases

( Jongseol Lee ),( Myeongchun Lee ),( Dalwon Jang ),( Kyoungro Yoon ) 한국인터넷정보학회 2018 KSII Transactions on Internet and Information Syst Vol.12 No.4

This paper proposes a MIDI- and audio-based music genre classification method for Korean traditional music. There are many traditional instruments in Korea, and most of the traditional songs played using the instruments have similar patterns and rhythms. Although music information processing such as music genre classification and audio melody extraction have been studied, most studies have focused on pop, jazz, rock, and other universal genres. There are few studies on Korean traditional music because of the lack of datasets. This paper analyzes raw audio and MIDI phrases in Korean traditional music, performed using Korean traditional musical instruments. The classified samples and MIDI, based on our classification system, will be used to construct a database or to implement our Kontakt-based instrument library. Thus, we can construct a management system for a Korean traditional music library using this classification system. Appropriate feature sets for raw audio and MIDI phrases are proposed and the classification results―based on machine learning algorithms such as support vector machine, multi-layer perception, decision tree, and random forest―are outlined in this paper.

거대 2사에 의한 음악장르의 변화

오구일(Oh, Ku-Il) 한국문화산업학회 2015 문화산업연구 Vol.15 No.3

지구상에 존재하는 모든 분야의 제품들과 소프트웨어들이 다양해지듯이 음악 또한 다양한 스타일의 작품들이 창작되어지고 있다. 트레디셔널 락음악 에서부터 힙합, 이지리스닝 그리고 컨츄리 음악등 각각의 장르들은 깊은 역사, 지역적 특색, 문화등 여러 가지 요소들이 융합되어 시간의 축척에 의해 새롭게 만들어져 가고 있는 것이다. 음악관련 업무에 종사하는 음악인들, 예를 들어 음악제작자, 작곡가, 연주자, 가수들에 의해 날마다 수만 개의 음원 트랙들이 인터넷에 업로드 되고 있으며, 온라인에 접속하면 언제, 어디서든, 다양한 기기를 이용해 음악을 들을 수 있는 시대가 되어 버렸다. 전 세계의 온라인 음악시장은 급속도로 발전하고 있고 시대의 변화에 따라 음악의 유통과 소비 형태가 완전히 바뀌어 가고 있다. 불과 몇 년 전만 해도 음반을 구입하여 음악재생기로 음악을 감상하는 것이 일반적인 방법이었으나, 스마트 폰의 발달로 음악 감상법 또한 변하게 되었다. 이러한 변화가 음악을 소유하는 개념이 아닌 인터넷 웹상에서 스트리밍을 통해 듣고 싶은 음악을 언제 어디서든 들을 수 있는 문화가 형성 되었고, 더 편한 기능을 추구하는 인간의 습성을 받아들인 거대 스트리밍 업체들에서는 소비자의 선호도에 맞는 새로운 장르의 구분법을 제시하고 있다. 본 연구에서는 장르의 정의에 대해 알아보고, 장르들의 특징들을 살펴본 후, 음악 산업의 변화, MP3의 등장과 문제점, 뮤직 스트리밍 방식의 등장, 거대2사(애플뮤직, 스파티파이)에서 새로이 도입한 장르의 구분법들을 분석해 본다. As all kinds of products and software on the earth get diversified, music also is created with various styles of works. Each genre such as traditional rock music, hip hop, easy listening, and country music, etc. is newly created due to accumulation of time by combining with deep history, regional characteristic, and culture, etc. Musicians, who are engaged in music related job, such as music producer, composer, performer, and singer, tends of thousands of sound tracks are uploaded on the internet everyday, also, it"s time to be able to listen to music through various equipments any time and any place when we go online. Worldwide online music market is rapidly developing, also, the distribution and consumption type are completely changing along with the change of time. Some years ago, a general way to appreciate music was buying a record and listen to it through music player, music appreciationmethod has also changed due to development of smart phone. Such change has formed a culture that everyone can listen to music any time and any place through streaming on the internet web, instead of the concept of possessingmusic, and large streaming corporations, that have accepted human habit that pursued more convenient function, are suggesting the division method of newgenre proper for consumers" preference. This research analyzed change of music industry, appearance of MP3 and problem, appearance of music streaming method, and division method of genre that has been newly introduced by the large two corporations (AppleMusic and Spotify), after investigating the definition of genre and characteristics of genres. 지구상에 존재하는 모든 분야의 제품들과 소프트웨어들이 다양해지듯이 음악 또한 다양한 스타일의 작품들이 창작되어지고 있다. 트레디셔널 락음악 에서부터 힙합, 이지리스닝 그리고 컨츄리 음악등 각각의 장르들은 깊은 역사, 지역적 특색, 문화등 여러 가지 요소들이 융합되어 시간의 축척에 의해 새롭게 만들어져 가고 있는 것이다. 음악관련 업무에 종사하는 음악인들, 예를 들어 음악제작자, 작곡가, 연주자, 가수들에 의해 날마다 수만 개의 음원 트랙들이 인터넷에 업로드 되고 있으며, 온라인에 접속하면 언제, 어디서든, 다양한 기기를 이용해 음악을 들을 수 있는 시대가 되어 버렸다. 전 세계의 온라인 음악시장은 급속도로 발전하고 있고 시대의 변화에 따라 음악의 유통과 소비 형태가 완전히 바뀌어 가고 있다. 불과 몇 년 전만 해도 음반을 구입하여 음악재생기로 음악을 감상하는 것이 일반적인 방법이었으나, 스마트 폰의 발달로 음악 감상법 또한 변하게 되었다. 이러한 변화가 음악을 소유하는 개념이 아닌 인터넷 웹상에서 스트리밍을 통해 듣고 싶은 음악을 언제 어디서든 들을 수 있는 문화가 형성 되었고, 더 편한 기능을 추구하는 인간의 습성을 받아들인 거대 스트리밍 업체들에서는 소비자의 선호도에 맞는 새로운 장르의 구분법을 제시하고 있다. 본 연구에서는 장르의 정의에 대해 알아보고, 장르들의 특징들을 살펴본 후, 음악 산업의 변화, MP3의 등장과 문제점, 뮤직 스트리밍 방식의 등장, 거대2사(애플뮤직, 스파티파이)에서 새로이 도입한 장르의 구분법들을 분석해 본다. As all kinds of products and software on the earth get diversified, music also is created with various styles of works. Each genre such as traditional rock music, hip hop, easy listening, and country music, etc. is newly created due to accumulation of time by combining with deep history, regional characteristic, and culture, etc. Musicians, who are engaged in music related job, such as music producer, composer, performer, and singer, tends of thousands of sound tracks are uploaded on the internet everyday, also, it"s time to be able to listen to music through various equipments any time and any place when we go online. Worldwide online music market is rapidly developing, also, the distribution and consumption type are completely changing along with the change of time. Some years ago, a general way to appreciate music was buying a record and listen to it through music player, music appreciationmethod has also changed due to development of smart phone. Such change has formed a culture that everyone can listen to music any time and any place through streaming on the internet web, instead of the concept of possessingmusic, and large streaming corporations, that have accepted human habit that pursued more convenient function, are suggesting the division method of newgenre proper for consumers" preference. This research analyzed change of music industry, appearance of MP3 and problem, appearance of music streaming method, and division method of genre that has been newly introduced by the large two corporations (AppleMusic and Spotify), after investigating the definition of genre and characteristics of genres.

Musical Genre Classification Based on Deep Residual Auto-Encoder and Support Vector Machine

( Xue Han ),( Wenzhuo Chen ),( Changjian Zhou ) 한국정보처리학회 2024 Journal of information processing systems Vol.20 No.1

Music brings pleasure and relaxation to people. Therefore, it is necessary to classify musical genres based on scenes. Identifying favorite musical genres from massive music data is a time-consuming and laborious task. Recent studies have suggested that machine learning algorithms are effective in distinguishing between various musical genres. However, meeting the actual requirements in terms of accuracy or timeliness is challenging. In this study, a hybrid machine learning model that combines a deep residual auto-encoder (DRAE) and support vector machine (SVM) for musical genre recognition was proposed. Eight manually extracted features from the Mel-frequency cepstral coefficients (MFCC) were employed in the preprocessing stage as the hybrid music data source. During the training stage, DRAE was employed to extract feature maps, which were then used as input for the SVM classifier. The experimental results indicated that this method achieved a 91.54% F1-score and 91.58% top-1 accuracy, outperforming existing approaches. This novel approach leverages deep architecture and conventional machine learning algorithms and provides a new horizon for musical genre classification tasks.

급변하는 글로벌 사회에서 음악장르를 다시 생각하다

박미경 ( Mikyung Park ) 세계음악학회 2021 음악과 문화 Vol.- No.45

It is surprising to face the global music environment. It is, in almost every way, a change in intensity and depth that has not been experienced in previous societies. As our conventional perception of a music genre suddenly becomes a problem in a changed environment, it becomes a dilemma that we can't do now, or a chronic problem that must be finally solved somehow. As we continued to discuss these issues, we realized that we had to reconsider the genre of music in a global environment. We have reached a point where we have to ask something new in a global society that has already achieved a paradigm shift in the 21st century by dealing with the problems of reality and the scholars' problems of confusion that has begun to arise in academic discussions about music genres. Finally, the point at which we delve deeply into genre issues was a reflection and wave of global reality.

음악 분야 무형유산의 장르성 변화와 대응 방안

김혜정 국립무형유산원 2020 무형유산 Vol.- No.8

The purpose of this paper is to compare Korean music studies, Korean intangible culturalheritage, and UNESCO intangible heritage's genre classification methods and criteria fordetermining value, and to discuss how to respond to the gap and change. First of all, I was able to look at the changing paradigm of each era while organizing thehistory of genre classification in Korean music studies. And now I know that there is a need tounderstand and approach cross-boundary liquidity more flexibly than to boundary throughclassification. Next, through the recognition of the genre of Korean music and the comparison of culturalheritage protection laws and intangible cultural property designated, we can see that the artshave been used as a basis for important value judgments and have been operating culturalheritage events centered on performing arts and music. Now, I believe that living music, whichhas been marginalized, should be approached based on a different value judgment thanartistry. Meanwhile, the criteria for determining the value of UNESCO's intangible heritage focusmore on human problems and value how the community and its heritage are related and howthe heritage currently exists. Finally, I talked about the fact that we are undergoing a drastic change and that we shouldtake a flexible stance in response and revise our policies accordingly. Changes we should acceptinclude the disappearance and weakening of living music, weakening existing communities andforming new forms of community. Despite these changes, it will not be able to fulfill the role ofthe system if it fails to change existing value judgments and conservation policies. 이 논문에서는 음악분야 무형유산의 장르성 변화에 따른 대응 방안을 논의하는 데 목적을 두었다. 이를 위해한국음악학의 장르 분류와 범주 인식의 변화를 살펴보았고, 무형문화재 및 무형유산의 음악 종목과 장르적 성격을 정리하면서 음악의 장르적 유동성에 따른 대응 및 관리 방안을 도출해 내었다. 우선 한국음악학의 장르 분류 역사를 정리하면서 시대별 패러다임의 변화를 살펴볼 수 있었고, 이제는 분류를통한 경계 세우기보다 경계를 넘나드는 유동성을 이해하고 유연하게 접근할 필요성이 있다는 점을 알았다. 특히 경계를 잘 세우는 일도 중요하지만 경계를 넘어서는 일과 그것에 유연하게 대처하는 일이 더욱 중요하다고 보았다. 한국음악의 장르 인식과 「문화재보호법」과 무형문화재 지정 종목의 비교를 통해 그동안 예술성을 중요한가치판단의 준거로 삼아 공연예술음악 중심으로 문화재 종목을 운영해 왔다는 점을 알 수 있었다. 그동안 소외되었던 생활음악은 예술성이 아닌 다른 기준으로 접근해야 한다고 보았다. 또 유네스코 무형유산의 가치판단의기준은 사람의 문제에 더 집중하고 공동체와 해당 유산이 어떻게 관계를 맺고 있는지, 그리고 현재 그 유산이어떻게 존재하고 있는지에 대해 중요하게 여기고 있음을 발견할 수 있었다. 마지막으로 우리는 급격한 변화를 맞고 있으며 이에 대응하여 유연한 자세로 받아들이면서 적절하게 정책을수정해 나가야 한다는 점을 논의했다. 우리가 받아들여야 할 변화는 장르성의 변화, 세대 교체, 공동체의 약화와새로운 형태의 공동체 형성 등 다양한 변화들이며, 이러한 변화에도 불구하고 기존의 가치판단 기준과 정책방향을 바꾸지 못한다면 제도의 역할을 다할 수 없을 것이라고 보았다.

SVM에 기반한 음악 장르 분류를 위한 특징벡터 정규화 방법

임신철(Shin-Cheol Lim),장세진(Sei-Jin Jang),이석필(Seok-Pil Lee),김무영(Moo Young Kim) 大韓電子工學會 2011 電子工學會論文誌-SC (System and control) Vol.48 No.5

본 논문에서는 Mel-Frequency Cepstral Coefficient (MFCC), Decorrelated Filter Bank (DFB), Octave-based Spectral Contrast (OSC), Zero-Crossing Rate (ZCR), 그리고 Spectral Contract/Roll-Off를 복합 특징벡터로 결합하여 Support Vector Machine (SVM)을 이용한 음악 장르 분류 시스템을 설계하였다. 기존 방식에서는 전체 학습 데이터에 대한 특징벡터를 정규화를 한 후 SVM 모델을 생성하여 분류를 시행하였다. 본 논문에서는 비교 대상이 되는 한 쌍의 클래스에 대해서 One-Against-One (OAO) SVM으로 모델을 생성할 때 선택된 두 클래스의 특징벡터에 대해서만 정규화를 시행하는 방식을 제안한다. 기존 정규화 방식을 이용하면 단일 특징벡터로 OSC를 사용할 경우에는 60.8%, 복합 특징벡터를 모두 이용하는 경우에는 77.4%의 인식율을 얻을 수 있었다. 또한, 제안된 정규화 방식을 이용하면 OSC와 복합 특징벡터에 대해서 각각 8.2%와 3.3%의 추가적인 성능 향상을 얻을 수 있었다. In this paper, Mel-Frequency Cepstral Coefficient (MFCC), Decorrelated Filter Bank (DFB), Octave-based Spectral Contrast (OSC), Zero-Crossing Rate (ZCR), and Spectral Contract/Roll-Off are combined as a set of multiple feature-vectors for the music genre classification system based on the Support Vector Machine (SVM) classifier. In the conventional system, feature vectors for the entire genre classes are normalized for the SVM model training and classification. However, in this paper, selected feature vectors that are compared based on the One-Against-One (OAO) SVM classifier are only used for normalization. Using OSC as a single feature-vector and the multiple feature-vectors, we obtain the genre classification rates of 60.8% and 77.4%, respectively, with the conventional normalization method. Using the proposed normalization method, we obtain the increased classification rates by 8.2% and 3.3% for OSC and the multiple feature-vectors, respectively.

머신러닝 기반 음악 장르 분류에 대한 연구

서정환,박재표 한국산학기술학회 2024 한국산학기술학회논문지 Vol.25 No.6

음악 장르는 음악을 분류하기 위한 수단으로 박자, 템포, 멜로디의 높낮이 등의 수많은 특징을 사용하여 분류한다. 본 논문에서는 전처리 과정을 통하여 음악의 특징을 추출하고 머신러닝 기법으로 학습시켜 장르를 구분하는 방법을 제안하였다. CNN(Convolutional Neural Network), LSTM (Long Short-Term Memory)의 두 가지 머신러닝 알고리즘을 사용하여 알고리즘별 성능을 비교 분석하였다. 분석 결과, 경음악(light Music), 발라드(Ballad), 록(Rock), 블루스(Blues), 알앤비(R&B), 클래식(Classic) 등 크게 6가지 장르로 분류 실험을 수행한 결과로 CNN을 이용한 머신러닝 기법의 정확도가 98.7%로 가장 높았으며, 이는 특징을 자동으로 추출해주는 CNN의 특성 때문이었다. 높은 정확도를 보여준 CNN을 통해 자동 음악 추천 시스템과 비슷한 응용 분야에서의 활용 가능성을 확인하였으며, 제한된 데이터와 비 최적화된 매개변수 설정에도 불구하고 유의미한 결과를 제시하였다. Music genres are classified using numerous features such as beat, tempo, and melodic pitch as a means to categorise music. This paper propose a method to classify genres by extracting music features through preprocessing and training them with machine learning techniques. Two machine learning algorithms, CNN (Convolutional Neural Network) and LSTM (Long Short-Term Memory), were used to compare the performance of each algorithm. The results of the analysis showed that the machine learning method using CNN had the highest accuracy of 98.7%, which is due to the characteristics of CNN that automatically extracts features. The high accuracy of CNN confirms the possibility of using it in applications similar to automatic music recommendation systems, and shows significant results despite limited data and non-optimal parameter settings.