동선생

Loss FunctionMachine learning algorithms find the patterns of the given dataset by themselves. For example, let's think about a situation that we should predict whether it will rain tomorrow or not from humidity data. 1.5 * x + 0.1 = y (raining if y > 1) If we can simply express the relationship between the probability of rain and the humidity like this, "pattern" of this data is 1.5(weight) and..

What is Ensemble method?In real-world problems, it is obvious that we can end up in better conclusions if we ask for others' opinion and get advice. It works the same with making machine learning models: if we take a look at the results of various solutions and pick the best among them or deciding by majority, we can make better conclusion. Models trained for drawing conlcusions are called "ense..

Overfitting and UnderfittingBefore we talk about what cross validation method is, we should first think about overfitting and underfitting in terms of machine learning. In general ml problems, we utilize explanatory variables from train data to predict the target variable in the test data. However, test data would not have target variable which makes difficult for us to validate the performance ..

What is Curse of DimensionalitySolving machine learning problems, we often face problems on train data having excessive number of features. Due to this problem, training speed gets slower and improving model performance proves much more challenging in this case.This kind of problem is called "Curse of Dimensionality". Obviously, there are methods we can deal with this curse: simply reducing the ..

What is Time-series Data?To solve a certain problem, we should utilize various types of data to extract key information from it and make the machine-learning model learn to perform better prediction. Time-series data, which is one of common type of data, is a successive sequence of data such as observation of a car's speed or fluctuation of stock prices.  The key difference between time-series d..

AutoEncoder란?AutoEncoder는 비지도 학습 신경망 모델로, 레이블되어 있지 않은 훈련 데이터를 사용하여 압축(인코딩)하고 다시 복원(디코딩)하는 과정을 통해 효율적인 데이터 표현을 학습합니다. 또한, unsupervised learning(비지도 학습)을 supervised learning(지도 학습) 문제로 바꿔서 해결한다고 표현할 수 있습니다.일반적으로 지도 학습은 입력 데이터 X와 타겟 데이터 y를 모두 사용하여 학습합니다. 반면, 비지도 학습은 입력 데이터 X만 사용하여 모델을 학습시킵니다.AutoEncoder의 특징은 입력 데이터 X만 주어지지만, 타겟 데이터도 X라는 점입니다: 원본 데이터 X를 입력으로 받고 재구성된 데이터 X'을 출력합니다. AutoEncoder의 목표는 X..

해당 포스트는 auto encoder를 학습하던 중 지도 학습과 비지도 학습에 대한 개념을 학습하기 위해 작성되었습니다. 지도 학습(Supervised Learning)지도 학습이란 머신러닝 모델이 데이터를 학습할 때, 학습하는 데이터가 레이블(label)되어 있는 경우를 말합니다.  지도 학습의 종류에는 크게 회귀(Regression)와 분류(classification)이 있습니다. 회귀는 훈련 데이터와 이에 매칭되는 타겟 변수의 값들(레이블)을 학습하여, 새로운 입력 데이터에 대한 출력 값을 예측하는 기법입니다.분류는 말그대로 훈련 데이터와 이에 매칭되는 레이블을 학습하여, 새로운 입력 데이터의 범주형(categorical) 클래스를 예측하는 기법입니다.비지도 학습(Unsupervised Learni..

그동안 블로그 작성은 잘 못했지만 병특 근무를 위한 개인 공부는 어느 때보다 열심히 했었다. 운영하던 학교 수강평 웹 서비스를 크로스 플랫폼 모바일 앱 서비스로 개편하여 출시하였고, 크롤링을 공부하여 해외 구매 대행 사업자들이 무료로 쓸 수 있는 서비스를 개발해보기도 했다. 그렇게 개인공부를 하며 대학교는 졸업했고 한국에 돌아왔지만, 병특 채용을 약속했던 스타트업은 인수합병을 당해버려서 무산되어버렸다.  ‎쑤강평‎학교 수업들에 대한 수강평, 게시판 기능, 투두 기능 등을 포함한 학생들의 학업을 돕는 앱입니다.apps.apple.com 원래 병특 채용을 약속했던 기업은 구현 실력이 이론 혹은 cs 전반에 대한 배경 지식보다 중요한 시리즈 a 정도의 스타트업이었고, 채용을 약속받은 상태였기 때문에 이론적인 ..

손실함수와 경사 하강법의 관계를 공부하며 헷갈리고 정확히 무슨말인지 이해가 안 가는 부분들이 있었는데 이들을 짚고 넘어가려 한다. 1. 왜 가중치와 절편을 업데이트하는데에 손실함수를 미분한 값을 사용하는가선형 회귀의 손실함수는 '제곱 오차(squared error)'로 예측값과 타깃값의 차이를 제곱한 것이다. 이때 제곱 오차가 최소가 되면 데이터의 경향을 가장 잘 표현하는 직선을 찾을 수 있는 것이다. 따라서 제곱 오차 함수의 최솟값을 알아내야 하는데 제곱 오차함수는 2차 함수이므로 기울기에 따라 함수의 값이 낮은 그래프의 최소에 가깝게 이동해야한다. 2차 함수인 이유는 아래와 같이 정리해보면 알 수 있다. x축을 가중치 $w$ 혹은 절편 $b$로 두고 y축을 손실함수로 두었을 때 손실함수의 최소로 이동..

'오차 역전파'라는 단어를 이해하는 것은 이 분야를 공부하면서 본인을 처음 흠칫하게 한 부분이었다. 나 같은 입문자가 이해하기 위해서는 부가적인 설명이 필요하다고 생각되는 부분이므로 정리하고 넘어가야겠다.오차 역전파 backpropagation오차 역전파는 y(타겟 값)와 $ \hat{y} $(예측 값)의 차이를 이용하여 w(가중치)와 b(절편)을 업데이트합니다.정방향 계산일단 쉬운 정방향 부터.'정방향 계산'이란 $ \hat{y} $ 을 구하는 과정을 말한다. 그냥 $ b + \sum_{i=1}^{n}w_{i}x_{i} $ 의 계산이다. 역방향 계산'역방향 계산'이란 정방향 계산으로 구한 $ \hat{y} $와 $ y $의 오차를 통해 $ w $와 $ b $의 변화율(gradient)를 계산하는 과정이..