본문 바로가기

ML & DM/SVM

SVM (Support Vector Machine) Part 2 3. 슬랙변수를 가진 SVM (혹은 Soft Margin SVM) 위 그림과 같이 학습데이터가 선형분리 가능한 경우에 대해 알아보자. 위 처럼 선형분리가 되지 않고 잘못 분류되는 데이터가 존재하는데 이를 처리하기 위해 먼저 잘못 분류된 데이터로부터 해당 클래스의 결정 경계까지의 거리를 나타내는 슬랙변수를 도입한다. 위 조건은 해당 클래스(+ 또는 -)에 속하는 모든 데이터들은 엄격하게 +또는 -평면보다 윗부분 혹은 아랫부분에 존재해야 한다는 것임에 반해, 슬랙변수를 추가함으로써 클래스에 속하는 데이터가 플러스(마이너스)평면보다 만큼 아래(윗)부분에 존재할 수 있도록 허용하게 된다. 따라서 이 클수록 더 심한 오분류를 허용함을 의미한다. 이러한 의미를 가진 슬랙변수를 추가한 분류조건을 통합하여 나타낸 식이.. 더보기
SVM (Support Vector Machine) Part 1 SVM (Support Vector Machine)은 Logistic Regression , Neural Network, Bayes classifier 같은 Linear classifier(초평면을 이용하는 분류기를 말함) 들 중에 하나이다. 분류상으로는 당연히Supervised Learning에 속한다.SVM 에서 중요한 요소 3가지는 마진(Margin), 서포트벡터(Support Vector), 커널(Kernel)이다.이 3가지에 대한 기본 개념을 알아야 뒤에 나올 최대 마진 분류기(Maximum margin classifier, 혹은 Hard Margin SVM이라고 불림), 슬랙변수를 가진 SVM( 혹은 Soft Margin SVM 이라고 불림), 마지막으로 커널을 활용한 SVM(혹은 Soft M.. 더보기