머신러닝 ④ - Linear Regression(선형회귀)

Linear Regression(선형회귀)

데이터를 가장 잘 대표하는 직선(선형식) 을 찾아서, 보지 않은 값을 예측 하는 것 선형 회귀는 데이터의 패턴을 직선으로 표현하는 것

최적의 회귀모델이란?

실제값(관측값)과 모델이 예측한 값의 오차(차이) 가

가장 작아지도록 만드는 직선을 찾는 것

즉, “최적의 회귀모델”이란?

MSE가 가장 작아지는 w0, w1 값을 찾는 직선

단순 회귀 (Simple Regression)

독립변수가 하나일 때의 회귀모델 하나의 x값으로 y값을 예측할 때 사용

예를 들어,

• 독립변수(x) : 일한 시간
• 종속변수(y) : 받은 급여

이 관계를 1개의 직선으로 표현하는 것이 단순 회귀

다중 회귀 (Multiple Regression)

독립변수(입력)가 여러 개일 때 사용하는 회귀모델

예를 들어,

“집값(y)”은 하나의 요인만으로 결정되지 않고

다음과 같은 여러 요인의 영향을 받음

 

변수 설명

CRIM	1인당 범죄율
RM	방의 개수
AGE	1940년 이전에 지어진 주택 비율
TAX	세금 수준
LSTAT	저소득층 비율
…	…

• 단순 회귀는 변수 1개로 예측
• 다중 회귀는 여러 변수를 동시에 고려해서 더 현실적인 예측을 함
• 모델 학습은 결국 “오차가 최소가 되는 w(가중치)와 b(절편)를 찾는 과정”이다

다중 회귀의 회귀 계수

회귀식이란?

다중 회귀모델은 여러 독립변수(입력값)으로 하나의 종속변수(출력값)를 예측하는 모델

 

각 항의 의미

기호 변수 회귀계수 해석

Temp	온도	+1.52	온도가 1도 올라갈 때, 오존량이 1.52만큼 증가 → 긍정적 영향
Wind	바람세기	-3.57	바람이 1 증가할 때, 오존량이 3.57만큼 감소 → 부정적 영향
Solar.R	일사량	+0.07	햇빛(일사량)이 1 증가할 때, 오존량이 0.07만큼 증가
절편(intercept)	—	-53.37	모든 변수가 0일 때의 기준 오존값

해석 방법

“온도가 높고, 바람이 약하고, 햇빛이 강할수록 오존 농도가 증가한다.”

즉, 각 변수(Temp, Wind, Solar.R)는 오존량(Ozone)에 영향을 주는 요인이고,

회귀계수(coef_) 값이 클수록 영향력이 크다는 뜻

회귀모델을 선형회귀로 만들면 각 변수들 앞의 회귀계수(가중치)를 확인해봐야함

어느 변수의 회귀계수가 큰지

회귀계수 확인

print(list(x_train))
print(model.coef_)
print(model.intercept_)

• coef_은 각 변수의 가중치(영향력)
• intercept_은 절편을 의미하고,이들을 이용해 위의 회귀식을 구성할 수 있음

다중 회귀식은 여러 변수들이 결과에 미치는 영향력을 수식으로 표현한 것

각 변수 앞의 숫자(회귀계수)는

“그 변수가 1만큼 변할 때 결과(y)가 얼마나 변하는지”를 뜻함

양수 → 결과를 증가시키는 변수,

음수 → 결과를 감소시키는 변수