기본 콘텐츠로 건너뛰기

6.1.1 고수들이 자수 쓰는 R 코드 소개 1편 (dplyr , %>%)

4장. 고수들이 자주 쓰는 R 코드 소개

4장. 고수들이 자주 쓰는 R 코드 소개

Ch1. dplyr 패키지 및 %>%의 쓰임 소개

R에는 매우 많은 명령어가 존재하며, 그 중 다수의 코드는 같은 기능을 하지만 명령어만 다를 뿐입니다. 작성자의취향에 따라 자유롭게 작성할 수 있는 자유가 있습니다. 하지만 이는 R을 처음 배우는 입장에서는 매우 어렵게 다가옵니다. 고수들이 자기 스타일대로 짜둔 코드들을 입문자들이 이해하기는 어려우며, 이는 곧 입문자들이 많은 시간을 투자하여도, 코드 공부가 제대로 되지 않는 문제가 생깁니다.

이번 챕터의 목적은 통계값을 뽑아낼 때 자주 쓰이는 명령어들을 정리하면서, 같은 기능을 하는 코드들도 다뤄보도록 하겠습니다. 아마, 여기까지 따라오셨다면 이제 R코드의 구조는 다 이해하실 거라고 생각합니다.

이번 챕터에서 주로 다룰 패키지는 다음과 같습니다.

library(dplyr)
library(reshape)
## 
## Attaching package: 'reshape'
## The following objects are masked from 'package:plyr':
## 
##     rename, round_any
## The following object is masked from 'package:dplyr':
## 
##     rename

dplyr 및 reshape 패키지는 매우 자주 쓰이는 패키지 입니다. 주로 이 패키지들을 위주로 다뤄보도록 하겠습니다.

  1. 데이터 불러오기

    데이터 다운로드 링크: [https://www.kaggle.com/liujiaqi/hr-comma-sepcsv

HR = read.csv("C:/R/HR_comma_sep.csv")
  1. dplyr 소개

    시작에 앞서…

  • apply라는 함수는 많은 코드에서 볼 수 있는 함수입니다.
    • apply(데이터, 1, function) 의 포맷으로 작성되는데 1일 경우는 row(행)별로, 2일 경우는 열 별로 함수가 적용되어 결과값이 나타나게 됩니다.
  • apply(HR[,1:2],1,mean)코드는 간단하게 rowMeans의 간단한 함수로 대체될 수가 있습니다.
# apply 

print("apply")
## [1] "apply"
head(apply(HR[,1:2],1,mean))
## [1] 0.455 0.830 0.495 0.795 0.445 0.455
# rowMeans
print("rowMeans")
## [1] "rowMeans"
head(rowMeans(HR[,1:2]))
## [1] 0.455 0.830 0.495 0.795 0.445 0.455
# 결과값이 같게 나오는 것을 확인 가능
  • dplyr 패키지는 널리 쓰이는데, 그 이유는 다음과 같은 기능이 있기 때문입니다.
    • %>% : 파이프라인이라고 합니다. 용도는 다음과 같습니다.
print("dplyr")
## [1] "dplyr"
HR[,1:2] %>%  
  rowMeans() %>%
  head()
## [1] 0.455 0.830 0.495 0.795 0.445 0.455

해당 결과는 방금 위에서 실행한 head(rowMeans(HR[,1:2])) 와 똑같이 나오는 것을 볼 수 있습니다.

즉, function(DATA) 의 형식을 DATA %>% function() 의 형식으로 바꿔주는 것을 목표라고 할 수 있습니다.

행별로 계산하지 않고, 열별로 계산을 해보도록 하겠습니다.

  • head(rowMeans(HR[,1:2]))의 명령어 실행 순서는 다음과 같습니다.
  1. HR[,1:2] 계산

  2. rowMeans(HR[,1:2]) 계산

  3. head(rowMeans(HR[,1:2])) 계산

즉, 여러개의 function을 동시에 사용할 때, R코드는 가장 안쪽에서 부터 실행이 됩니다. 코드가 복잡해질 경우, 작성이 힘들어지는 불편함이 존재하기 때문입니다.

하지만 dplyr의 %>%를 사용하면, 코드가 실행되는 순서대로 함수들을 배치시킬 수가 있습니다. 그것이 dplyr의 최고 강점이라고 할 수 있습니다.

변수 별로 계산할 경우도 함께 해보겠습니다.

print("apply")
## [1] "apply"
apply(HR[,1:5],2,mean) # 열 단위 
##   satisfaction_level      last_evaluation       number_project 
##            0.6128335            0.7161017            3.8030535 
## average_montly_hours   time_spend_company 
##          201.0503367            3.4982332
print("colMeans")
## [1] "colMeans"
colMeans(HR[,1:5])
##   satisfaction_level      last_evaluation       number_project 
##            0.6128335            0.7161017            3.8030535 
## average_montly_hours   time_spend_company 
##          201.0503367            3.4982332
print("dplyr")
## [1] "dplyr"
HR[,1:5] %>%
  colMeans()
##   satisfaction_level      last_evaluation       number_project 
##            0.6128335            0.7161017            3.8030535 
## average_montly_hours   time_spend_company 
##          201.0503367            3.4982332

이제 %>%의 목적이 어떤 것인지 아시겠나요?? dplyr의 %>%는 언뜻 보면 매우 어려워 보이지만, 생각보다 간단한 것을 알 수 있습니다. 그럼 계속 기존 R코드와 %>%를 사용했을 때의 차이점을 비교해보도록 하겠습니다.

  • 데이터 집계 내기
# Summarise 
summarise(HR, MEAN_SATISFACTION = mean(satisfaction_level),
          MAX_SATISFACTION = max(satisfaction_level),
          N = length(satisfaction_level))
##   MEAN_SATISFACTION MAX_SATISFACTION     N
## 1         0.6128335                1 14999
HR %>% 
  summarise(MEAN_SATISFACTION = mean(satisfaction_level),
            MAX_SATISFACTION = max(satisfaction_level),
            N = length(satisfaction_level))
##   MEAN_SATISFACTION MAX_SATISFACTION     N
## 1         0.6128335                1 14999
  • subset 후 ddply를 적용했을때 %>% 활용법
library(plyr)
HR2_O = ddply(subset(HR,left == 1),c("sales"),summarise,
              MEAN_SATISFACTION = mean(satisfaction_level),
              MAX_SATISFACTION = max(satisfaction_level),
              N = length(satisfaction_level))

head(HR2_O)
##         sales MEAN_SATISFACTION MAX_SATISFACTION   N
## 1  accounting         0.4025980             0.91 204
## 2          hr         0.4333953             0.91 215
## 3          IT         0.4118681             0.92 273
## 4  management         0.4228571             0.90  91
## 5   marketing         0.4531527             0.90 203
## 6 product_mng         0.4815657             0.91 198
HR2_D = HR %>%
  subset(left == 1) %>%
  group_by(sales) %>%
  dplyr::summarise(MEAN_SATISFACTION = mean(satisfaction_level),
                   MAX_SATISFACTION = max(satisfaction_level),
                   N = length(satisfaction_level))
head(HR2_D)
## # A tibble: 6 x 4
##   sales       MEAN_SATISFACTION MAX_SATISFACTION     N
##   <fct>                   <dbl>            <dbl> <int>
## 1 accounting              0.403             0.91   204
## 2 hr                      0.433             0.91   215
## 3 IT                      0.412             0.92   273
## 4 management              0.423             0.9     91
## 5 marketing               0.453             0.9    203
## 6 product_mng             0.482             0.91   198
  • 새로운 변수를 추가하고 싶을 때는 mutate 사용
HR3_D = HR2_D %>%
  mutate(percent = MEAN_SATISFACTION / MAX_SATISFACTION)
  • ggplot2에 dplyr 적용
library(ggplot2)

HR2_D %>%
  ggplot() +
  geom_bar(aes(x=sales,y=MEAN_SATISFACTION,fill=sales), stat="identity") +
  geom_text(aes(x=sales, y= MEAN_SATISFACTION+0.05,label=round(MEAN_SATISFACTION,2))) +
  xlab("부서") + ylab("평균 만족도") +
  theme(axis.text.x = element_text(angle = 45, size = 8.5,color = "black", face = "plain", vjust = 1, hjust = 1))

여기까지 따라오셨다면, 이제 연습량에 따라서 R코드를 나름 자유자재로 다룰 수 있을 것입니다. 다음 TEST는 최종 TEST입니다. 그 후에는 본격적인 Modeling을 시작하도록 하겠습니다.

이 블로그의 인기 게시물

6.1.2 고수들이 자주 쓰는 R코드 소개 2편 [중복 데이터 제거 방법]

Ch2. 중복데이터 제거하기 및 데이터 프레임 정렬 Ch2. 중복데이터 제거하기 및 데이터 프레임 정렬 흔하지는 않지만, 중복으로 입력되는 데이터 셋을 마주치는 일이 생기기 마련입니다. 보통 중복데이터는 데이터 수집단계에서 많이 발생합니다. 하지만 이를 하나하나 엑셀로 처리하는 것은 한계가 있기때문에, R에서 처리하는 방법에 대해 다루어 보고자 합니다. 1차원 벡터, 리스트에서의 중복 제거 A = rep(1:10, each = 2) # 1 ~ 10까지 2번씩 반복 print(A) ## [1] 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 10 10 # 중복 제거 unique(A) ## [1] 1 2 3 4 5 6 7 8 9 10 데이터 프레임에서의 중복 제거 다음과 같은 데이터 프레임을 예시로 삼겠습니다. 변수 설명 OBS : 번호 NAME : 환자 이름 ID : 환자 고유번호 DATE : 검사 날짜 BTW : Body total water 먼저, 환자 이름이 있고, 그 환자의 고유 ID가 있습니다. 세상에 동명이인은 많기 때문에 항상 고유 ID를 기록해둡니다. # 데이터 불러오기 DUPLICATE = read.csv("C:/R/DUPLICATED.csv") DUPLICATE ## OBS NAME ID DATE BTW ## 1 1 A A10153 2018-11-30 1 ## 2 2 A A10153 2018-11-30 3 ## 3 3 B B15432 2018-11-30 4 ## 4 4 A A15853 2018-11-29 5 ## 5 5 C C54652 2018-11-28 5 ## 6 6 C C54652 2018-11-27 6 ## 7 7 D D14

4.4.1 R 문자열(TEXT) 데이터 처리하기 1

Ch4. 문자열 데이터 다루기 1 데이터 다운로드 링크: https://www.kaggle.com/PromptCloudHQ/imdb-data # 데이터 불러오기 DATA=read.csv("C:\\R/IMDB-Movie-Data.csv") Ch4. 문자열 데이터 다루기 1 이번에는 문자열 데이터를 처리하는 방법에 대해 다루겠습니다. 문자열을 다룰 때 기본적으로 숙지하고 있어야 하는 명령어는 다음과 같습니다. 문자열 대체 : gsub() 문자열 분리 : strsplit() 문자열 합치기 : paste() 문자열 추출 : substr() 텍스트마이닝 함수: Corpus() & tm_map(), & tdm() # 문자열 추출 substr(DATA$Actors[1],1,5) # 첫번째 obs의 Actors변수에서 1 ~ 5번째에 해당하는 문자열 추출 ## [1] "Chris" # 문자열 붙이기 paste(DATA$Actors[1],"_",'A') # 첫번째 obs의 Actors변수에서 _ A 붙이기, 기본적으로 띄어쓰기르 구분 ## [1] "Chris Pratt, Vin Diesel, Bradley Cooper, Zoe Saldana _ A" paste(DATA$Actors[1],"_",'A',sep="") # 띄어쓰기 없이 붙이기 ## [1] "Chris Pratt, Vin Diesel, Bradley Cooper, Zoe Saldana_A" paste(DATA$Actors[1],"_","Example",sep="|") # |로 붙이기 ## [1] "Chris Pratt, Vin Diesel, Bradley Cooper, Zoe Saldana|

3. Resampling 방법론(Leave one out , Cross Validation)

Ch4. Resampling 방법론 이전 챕터에서는 앙상블에 대해 다루었습니다. 앙상블을 요약하자면, Training Set을 Resampling할 때 마다, 가중치를 조정할 것인지 말 것인지를 다루는 내용이었습니다. 이번에는 구체적으로 Resampling 방법들에 대해 다루어 보고자 합니다. 1. Resampling의 목적과 접근 방식 모형의 변동성(Variability)을 계산하기 위해서 입니다. Training Set으로 모형을 만들고, Test Set으로 Error rate를 계산하며, 이를 반복합니다. 각 실행 별, Error Rate 값이 계산이 될 것이며, 해당 Error rate의 분포를 보고 모형의 성능을 평가할 수 있습니다. Model Selection : 모형의 성능을 Resampling 방법론을 통해 평가한다면, 모델링 과정에서 어떤 변수를 넣어야 하고, 혹은 모형의 유연성(Flexibility)을 어느정도로 조절하는 것이 적당한지 결정을 할 수 있기 때문에 매우 중요한 방법론 중 하나입니다. 모형의 유연성에 대해서는 다음 챕터에서 설명하도록 하겠습니다. 2. Leave-One-Out Cross Validation(LOOCV) LOOCV는 n개의 데이터에서 1개를 Test Set으로 정하고 나머지 n-1개의 데이터로 모델링을 하는 방법을 의미합니다. LOOCV 방법은 데이터 수 n이 크다면, n번의 모델링을 진행해야되기 때문에, 시간이 오래 걸립니다. 회귀, 로지스틱, 분류모형 등에 다양하게 적용할 수 있습니다. 3. K - Fold Cross - Validation 연산시간이 오래걸린 다는 것은 곧, 작업시간이 길어진다는 의미이며 이는 곧 야근을 해야된다는 소리와 다를게 없어집니다. 그래서 시간이 오래걸리는 LOOCV를 대채하기 위하여 K-Fold Cross - Validation이 존재합니다. 위 그림은 데이터 셋을 총 4개의 Set로 구성하였습니다. Cross -

4. 통계적 추정(점추정,구간추정)

Ch1. 점추정 추정량은 우리가 알고 싶어하는 모수를 표본들을 이용하여 단 하나의 점으로 추측하는 통계량입니다. 그 과정을 점추정(Point estimation)이라고 하며, 그렇게 얻어진 통계량을 점주청량(Point estimator)라고 합니다. 점추정량은 다양한 방식으로 구할 수 있습니다. 모평균을 추정하기 위한 표본평균 계산 각 끝의 일정 부분씩은 무시하고 나머지 표본들의 평균 계산(절삭 평균, Trimmed Mean) 등의 방법들이 있습니다. 하지만 가장 많이 쓰는 척도는 표본평균입니다. 그 이유는 대표적으로 수리적인 확장성과 표본평균의 분포를 비교적 쉽게 알 수 있다는 점을 들 수 있습니다. 점추정은 단순히 모평균을 추정하는 것만이 아닌, 회귀식을 추정하였을 때의 회귀계수도 점추정이라고 할 수 있습니다. (회귀분석은 후에 다룰 예정입니다.) 다만, 이런 점추정에도 몇 가지의 장점과 단점이 있습니다. 점추정의 장점 점추정량은 지극히 직관적이다. 통계를 모르는 누군가가 한국의 30대 여성의 평균 수입을 묻는다면 점추정량으로 즉각적인 답을 줄 수 있을 것입니다. 점추정량은 매우 직관적이며 합리적입니다. 점추정량은 우리가 원하는 수치를 대체할 구체적인 값을 제시해준다. 우리가 통계적인 모델링 혹은 함수를 작성하기 위해 30대 여성 수입의 평균치가 필요하나 모평균을 알 수 없을 때 점추정량으로 간단히 대체할 수 있습니다. 사실상 이는 대부분에 통계이론을 전개하는데 가장 중요한 역할을 합니다. 간단한 예를 말씀드리자면 모분산을 추정하기 위해서는 평균이 필요하기 때문에 표본평균을 이용합니다. 여기서 분산은 각 개별 값들이 평균에서 얼만큼 멀리 떨어져있는지에 대한 척도입니다. 그런데 우리는 '진짜 평균'을 알 수 없으니 아래 식과 같이 표본들의 평균으로 대체하는 것입니다. 여기서 평균 값을 표본평균으로 대체하였기에 표본분산은 n이 아닌 n-1으로 나누어 주게 됩니다. 이해를 돕기 위해 자유도에 대한 개념을 잠깐 다루도록 하

3.2.3 R 시각화[ggplot2] 2편 (히스토그램, 밀도글래프, 박스플롯, 산점도)

R 데이터 시각화 2편 R 데이터 시각화 2편 데이터 다운로드 링크: https://www.kaggle.com/liujiaqi/hr-comma-sepcsv # 시각화 이전에 처리 되어 있어야 하는 시각화 DATA = read.csv('C:/R/HR_comma_sep.csv') DATA$left = as.factor(DATA$left) DATA$Work_accident = as.factor(DATA$Work_accident) DATA$promotion_last_5years = as.factor(DATA$promotion_last_5years) 히스토그램(Histogram) [연속형 변수 하나를 집계 내는 그래프, 1차원] 히스토그램은 연속형변수를 일정 범위로 구간을 만들어, x축으로 설정하고 y축은 집계된 값(Counting)을 나타내는 그래프입니다. library(ggplot2) # 기본 ggplot(DATA,aes(x=satisfaction_level))+ geom_histogram() ## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`. # 구간 수정 및 색 입히기 ggplot(DATA,aes(x=satisfaction_level))+ geom_histogram(binwidth = 0.01,col='red',fill='royalblue') # col은 테두리, fill은 채우기 밀도그래프(Density Plot)[연속형 변수 하나를 집계 내는 그래프, 1차원] 밀도그래프는 연속형변수를 일정 범위로 구간을 만들어, x축으로 설정하고 y축은 집계된 값(percentage)을 나타내는 그래프입니다. # 기본 ggplot(DATA,aes(x=satisfaction_level))+ geom_density() # 색 입히기 ggplot(DATA,a