딥러닝공부11 Unsupervised speech representation learningusing WaveNet autoencoders _ 논문 리뷰 Creating good data representations is important. The goal is to learn a representation able to capture high level semantic content from the signal, e.g. phoneme identities. 이 논문의 목표는 좋은 latent를 찾는것이다. 좋은 latent란 해석가능하며 신호의 high level의 의미있는 정보를 포착가능하게 해주는것을 의미한다. 이 논문에서는 왜 supervised 가 아닌 unsupevised 러닝을 사용했을까? 2가지 단점이 supervised에는 존재하기 때문이다. 첫번째, 많은 양의 라벨데이타를 요구한다는 것이다. 많은 양의 양질의 라벨 데이타는 구하기도 힘들.. 2021. 4. 7. A Wavenet for Speech Denoising 오늘은 요즘 연구과제를 진행하면서 네트워크 모델로 사용하고 있는 디노이징을 위한 웨이브넷에 대한 간단한 리뷰를 하고자 한다. 기존의 웨이브넷에 대해서 배경지식을 가지고 있다는 가정하에 기존의 웨이브넷과의 차이점을 위주로 리뷰를 진행한다. Wavenet 기존의 웨이브넷은 Causal, Dilated Conv. 를 활용한것이 특징이다. - Causal Conv. 실시간으로 raw audio를 처리하고자 현재 값과 과거 값만을 사용하기 때문에 사용한 것으로 이해했다. - Dilated Conv. 16KHz의 샘플링 레이트를 가지는 raw audio data가 있다고 생각하자. 1초의 data를 입력으로 한다. = 16만개의 샘플을 네트워크의 입력으로 한다. 우리에게는 짧다고 생각되는 1초 조차 네트웍 입장에서.. 2021. 1. 4. Processing Sequences Using RNNs and CNNs 이번 챕터에서는 리커런트 뉴럴 네트웍 RNN에 대해서 알아보겠습니다. 미래를 예측 할수 있는 네트웍입니다. 주식의 가격과 같은 타임 시리즈의 데이타를 분석할 수 있습니다. 이번 챕터에서는 RNN의 기본적인 개념과 RNN을 어떻게 훈련시키는지 타임시리즈 데이타를 예측하는데 어떻게 사용되는지 그리고 이 네트웍의 두개의 주요한 문제점에 대해 알아보도록 하겠습니다. 우선 짚고 넘어가야 할 점은 RNN이 시퀀셜 데이타를 다룰수 있는 유일한 뉴럴넷은 아니라는 점입니다. CNN 구조를 가지는 Wavenet 또한 많은 시간 스텝의 시퀀스를 다룰 수 있고 이에 대해서는 뒤에서 더 언급하도록 하겠습니다. Recurrent Neurons and Layers 저희는 지금까지 피드포워드 뉴럴 네트웍에 대해서만 얘기를 해왔습니다.. 2020. 5. 24. Ensemble Learning and Random Forests - Voting Classifiers 퀴즈대회에 나갈때 전교 1등 혼자 나가는 거랑 전교 5,6,7등이 한팀으로 나가는 거랑 어느쪽이 더 좋은 성적을 거둘까? voting classifiers 파트에서는 가장 좋은 모델 하나를 가지고 예측을 진행하는것 보다 조금 성능이 떨어지는 여러모델들을 통해 예측을 하고 그 중 가장 많이 예측된 결과를 최종결과로 정하는 방법이 더 좋은 성능을 이끌어낸다고 한다. 이와 함께 동전 던지기에 대한 예시가 나온다. 51%의 확률로 숫자가 나오고 49%의 확률로 그림이 나오는 동전이 있다. 어떤 동전이던지 던지는 횟수를 늘릴수록 결국 수학적 확률인 51%에 근접하는 결과를 보일 것이다. 최소 1000번이상을 던질때 숫자가 더 많이 나왔을 확률이 75%라고 한다. 많이던질수록 .. 2020. 4. 16. Decision Tree란? 보호되어 있는 글 입니다. 2020. 4. 9. 이전 1 2 다음
