본문 바로가기

분류 전체보기

SVM (Support Vector Machine) Part 1 SVM (Support Vector Machine)은 Logistic Regression , Neural Network, Bayes classifier 같은 Linear classifier(초평면을 이용하는 분류기를 말함) 들 중에 하나이다. 분류상으로는 당연히Supervised Learning에 속한다.SVM 에서 중요한 요소 3가지는 마진(Margin), 서포트벡터(Support Vector), 커널(Kernel)이다.이 3가지에 대한 기본 개념을 알아야 뒤에 나올 최대 마진 분류기(Maximum margin classifier, 혹은 Hard Margin SVM이라고 불림), 슬랙변수를 가진 SVM( 혹은 Soft Margin SVM 이라고 불림), 마지막으로 커널을 활용한 SVM(혹은 Soft M.. 더보기
[JTBC]냉장고를 부탁해 - 머신러닝 알고리즘을 활용한 각종 분석 링크 : http://jsideas.net/python/2015/07/07/fridge_please_final.html 더보기
MIT Linear Algebra, Lecture 4: A=LU Factorization 원문 : http://www.catonmat.net/blog/mit-linear-algebra-part-four/강의 영상 : https://www.youtube.com/watch?v=5hO3MrzPa0A 이것은 MIT Linear Algebra 4번째 강의의 4번째 리뷰포스트 입니다. 이 포스트에서는 A행렬을 하부삼각행렬(Lower-triangular) L과 상부삼각행렬(Upper-triangular) U의 곱으로 인수분해 하는것 다시 말해 A=LU를 리뷰한다. 이 강의에서는 또한 행렬곱 A·B의 역을 찾는 방법, 전치행렬 AT의 역을 찾는 방법 그리고 행렬들의 치환을 소개한다.이전 시간에 했던 역행렬들로 잠깐 복습을 해보자. 행렬 A의 역은 A-1이다. 그래서 A·A-1을 같이 곱하는것은 단위행렬 I.. 더보기
MIT Linear Algebra, Lecture 3: Matrix Multiplication and Inverse Matrices 원문 : http://www.catonmat.net/blog/mit-linear-algebra-part-three/강의 영상 : https://www.youtube.com/watch?v=FX4C-JpTFgY 이것은 MIT 선형대수 강좌 시리즈의 3번째 포스트이다. 이 포스트에서, 행렬들을 곱하기, 역행렬을 만들기 그리고 역행렬들을 찾는 한 알고리즘인 가우스-요르단 소거법에 대해서 5가지 방식으로 리뷰를 할 것이다. 3번째 강좌는 행렬을 곱하는 5가지 방식으로 시작한다.첫번째 방법은 전통적인 방법이다. 우리에게 aij 성분들을 가진 mxn 크기의 행렬A와 bjk 성분들을 가진 nxp크기의 행렬 B가 주어졌다고 가정하자. 우리는 A·B 곱을 찾기를 원한다. 행렬 A와 B를 곱하는 것은 .성분들을 가진 mxp.. 더보기
Intro 내가 2012년도에 공부를 하다가 미국의 서브프라임모기지 사태에 대해 관심을 갖기 시작했었다. 그 시스템자체가 너무나도 복잡해 왠만한 전문가들도 이를 이해하고 분석하는데 애를 먹는다고 하였다. 그때 당시에 전반적인 그림만 이해를 하였는데 (사실 이것도 말이 쉽지 상당히 어려웠음...) 최근 빅쇼트라는 영화도 보고 블로깅을 시작하면서 이에 대해 다시 흥미가 생겨 공부도 해볼겸. 미국의 서브프라임모기지 사태에 대해 생각나는대로 포스팅을 해보겠다. 이 사태가 일어나고 8년이 지난 지금 사실 많은 책과 블로그에서 설명을 잘(?) 해주었기 때문에 자료를 모으는데에는 크게 어려움이 없을 듯 하다. 2012년도만 해도 이런것에 대해서 일반인들도 알기 쉽게 해놓은 설명이 2012년 당시에는 많이 없었던듯 하다.. 가물.. 더보기
Random Forest Random Forest 는 앙상블기법의 하나로 Bagging과 Random space method 방법을 사용하여 과적합과 탐욕알고리즘의 성향 으로 인한 Decision Tree의 성능의 변동 폭이 크다는 결점을 극복한 하나의 방법이다. 오히려 이러한 과적합의 성향, 탐욕알고리즘의 성향을 이용하여 더 높은수준의 학습기를 만들어 냈다고 할 수 있겠다. 결정트리는 학습데이터에 따라 생성되는 결정트리가 매우 달라지기 때문에 일반화하여 사용하는데 어려움이 따른다. 특히 결정트리는 계층적 접근방식이기 때문에 만약 중간에 에러가 발생한다면 다음 단계로 에러가 계속 전파되는 특성을 가진다. 하지만 랜덤포레스트에서는 결정트리를 학습시킬때 임의화 기술(변수선택의 임의성(흔히 말하는 Random space method).. 더보기
MIT Linear Algebra, Lecture 2: Elimination with Matrices 원문 : http://www.catonmat.net/blog/mit-linear-algebra-part-two/강의 영상 : https://www.youtube.com/watch?v=QVKj3LADCnA이 포스트에서는 소거법(elimination)과 역대입(back-substitution) 으로 선형 방정식 체계를 푸는것에 대한 강의에 대해 리뷰를 하겠다. 제 2강 : 행렬들의 소거법 소거법은 모든 소프트웨어 패키지가 방정식들을 푸는 방식이다. 만약 소거법이 성공한다면, 답을 얻을 수 있다. 만약 Ax=b에서 A행렬이 "좋은" 행렬(나중에 어떤 것이 좋은 행렬인지를 알아볼 것)이라면, 소거법이 작동되고 효율적인 방식으로 답을 얻을것이다. 또한 어떨때 소거법이 안되는지를 물어보는 것도 아주 좋은 질문이다... 더보기
Decision Tree 의사결정나무는 교사학습방법 중 하나라고 알려져 있으나 비교사학습에서도 쓰일 수 있다. 의사결정나무는 데이터의 특징에 대한 질문을 하면서 응답에 따라 데이터를 분류해가는 알고리즘이다. 그렇다면 왜 굳이 의사결정나무를 사용할까? 라는 의문이 든다. 이유는 단순 선형분류기로는 풀기 어려운 XOR(eXclusive OR)같은 문제를 풀 수 있다는 것과 나이브베이즈와 같이 데이터에 대한 가정없이 데이터만 있으면 바로 생성할 수 있다는 점이다. 밑에 그림을 보면 성별, 나이, 배우자/형제자매수라는 특징에 대해 질문을 하여 그 반응에 따라서 사망과 생존을 분류한 결정트리이다. 결정트리의 구조는 크게 2가지로 '노드(node)'와 '가지(branch)'으로 나눌 수 있다. 특정 노드보다 상위의 노드를 부모노드(pare.. 더보기
10 Machine Learning Algorithms Explained to an ‘Army Soldier’ 다음은 기계학습 알고리즘들을 군인에게 설명하기위해 전쟁에 비유해 설명한 기사이다. 원문 : http://www.analyticsvidhya.com/blog/2015/12/10-machine-learning-algorithms-explained-army-soldier/ Note: The objective of this article is to help people learn machine learning in a fun and interesting way. You’ll also notice every algorithm has its own special situation where it is used. Intro는 건너 뛰겠다. 머신러닝의 범주에는 3가지가 있다. 지도학습 : 전쟁을 하고있고 당신에게 오는.. 더보기
MIT Linear Algebra, Lecture 1: The Geometry of Linear Equations 원문 : http://www.catonmat.net/blog/mit-linear-algebra-part-one/강의 영상 : https://www.youtube.com/watch?v=ZK3O402wf1c 첫 강의는 Gilbert Strang교수가 선형대수의 근본적인 문제에 대해 선형 방정식의 체계를 이용하여 풀어서 시작했다. 두 미지수가 있는 두개의 방정식을 아래식으로 나타냈다. 이 연립방정식을 보는 방법이 3가지가 있다. 첫째는 행(row)방향으로 한번에 한줄씩 보는 것, 둘째는 한번에 한 열(column)씩 보는것, 세번째는 행렬형태를 사용하는 것이다. 만약 한번에 한 행(row)씩이 방정식을 본다면, 우리는 두개의 독립적인 방정식들 2x-y=0 과 -x + 2y =3을 얻습니다. 이 둘은 모두 선형.. 더보기

티스토리툴바