회귀 분석 (Regression analysis)

회귀 분석 (Regression analysis) Start.

BioinformaticsAndMe

1. 회귀분석 (Regression test) 이란?

회귀분석은 독립변인이 종속변인에 영향을 미치는지 알아보고자 할 때 실시하는 분석방법.

단순 선형 회귀분석은 독립변수 X(설명변수)에 대하여 종속변수 Y(반응변수)들 사이의 관계를 수학적 모형을 이용하여 규명하는 것.

규명된 함수식을 이용하여 설명변수들의 변화로부터 종속변수의 변화를 예측하는 분석이다.

#간단하게 '키(Height)에 따른 몸무게(Weight)' 를 예로 들면,

Weight = a + b*Height 가 되며,

결국 Height에 따라 Weight가 결정되므로, 

Height는 독립변수, Weight는 종속변수.

2. 회귀분석 배경

회귀(regression)의 사전적 의미는 'go back to an earlier and worse condition(옛날의 대표적인 상태로 돌아감)'을 의미한다.

예를 들어, 남자의 평균 Height는 175cm 라 하자. 세대를 거듭할때마다, 높은 Height + 낮은 Height 사람들 혹은 보통 Height + 보통 Height 사람들이 다양하게 결혼하여 자녀를 낳을 것이다. 결국에는 남자들의 평균 Height는 175cm으로 회귀하려는 경향을 보일 것이다. 

회귀의 기본 원리는 다음과 같이 선형 회귀모델의 직선과 실제 값 사이의 차를 뜻하는 residual error를 최소화 시키는 것이다.

위 예와 같이 적용한다면, X값에 따라 여러 Y값들이 나오겠지만, 결국에는 추론된 직선으로 회귀할 것이다.

3. 회귀분석 통계 검정

- 회귀분석에서의 통계검정은 1)만들어진 회귀모형이 유의한지 2)회귀계수들이 유의한지를 본다.

A)유의한 예측모형인가?

주어진 모든 변수들이 함께 어느 정도 예측변수의 변량을 설명(예측)하는가?

결정계수 R2 의 크기에 대해 F분포로 결정

B)어떤 예측변수가 유의한가?

각 독립변수(X)의 회귀계수 (b)가 유의한가?

t-검정을 사용

#아래는 회귀분석에서 통계검정에 사용되는 최소제곱법(최소자승법, method of least squares estimation) 소개이다.

#위 내용은 'KOCW 자료' 에서 발췌했으며, 상세한 내용은 아래를 참고

http://contents.kocw.or.kr/KOCW/document/2015/dongguk/sonchangkyoon/6.pdf

4. 회귀의 다양성

일반적으로 회귀라고 할 때 보통의 최소제곱(Ordinary Least Square, OLS)에 의한 회귀를 말하지만 그 외에도 수 많은 회귀 방법이 있다.

2005년에 Vito Ricci가 만든 목록을 보면 R에서 사용하는 회귀와 관련된 함수는 모두 205개이다.

A) 단순선형 회귀분석(단변량회귀, Simple linear regression)

단순선형 회귀는 종속변수와 독립변수 사이의 관계를 선형으로 설명한 것이다. 이 때 표준오차는 추정 값이며 신뢰구간은 정해지는 값이다.

B) 다중선형 회귀분석(다변량 회귀 분석, Multi linear regression)

종속적 결과변수가 2개 이상의 독립 변수에 의해 예측되는 회귀분석을 '다중선형회귀분석'이라고 부른다. 독립변수는 연속성이거나 범주형 모두 가능하다. 

C) 로지스틱 회귀분석(Logistic regression)

직선형 회귀분석과 다중 회귀분석은 종속변수가 연속적이라는 가정하에 적용되는 반면에 로지스틱 회귀분석은 이분화된 항목일 경우에 사용한다. 따라서 이론적인 이항분포를 보인다. 

 

D) Cox 비례회귀분석(proportional Cox regression)

Cox 비례회귀분석은 생존이나 그 외에도 시간이 관계된 사건들에 영향을 미치는 변수를 결정하기 위해 사용한다. 결과측정에 사용된 시간은 실제 생존시간이 아니며 위험비의 개념이 사용된다.

회귀 분석 (Regression analysis) End.

BioinformaticsAndMe