MJ의 기술 블로그

6주차_Ch.07 딥러닝을 시작합니다

MJs' — Thu, 15 Feb 2024 16:33:58 +0900

(우와 이제 드디어 끝났다!!!...가 아니고) 아구 아쉬워라 벌써 끝나다니

다들 설 연휴 잘 보내셨나요? 필자는 정신없는 연휴를 보내고 왔습니다. 할머니의 고봉밥을 몇 그릇씩 먹고, 에너자이저 사촌 동생들을 하루종일 놀아주고 나니 벌써 연휴가 끝나있네요 집에 돌아와서 녹다운하고 있을 때 혼공학습단의 존재가 갑자기 머릿속을 휙 하고 지나갔습니다. 아차! 싶었네요ㅎㅎ 이번주 학습을 할까 말까 수백 번은 고민한 것 같은데 그래도 기왕 시작한 거, 완주는 해야지 싶어 노트북을 켰습니다.

그럼, 마지막 혼공학습단 미션 시작해보겠습니다!!

Ch 07-1. 인공 신경망

✔️ 실습

1) 데이터 준비: 패션 MNIST 데이터셋 사용

- TensorFlow 사용

28×28 화질 이슈

0	1	2	3	4	5	6	7	8	9
티셔츠	바지	스웨터	드레스	코트	샌달	셔츠	스니커즈	가방	앵글 부츠

레이블마다 6,000개의 샘플이 들어있음

2) 로지스틱 회귀로 패션 아이템 분류

: 확률적 경사 하강법 이용

- 1차원 배열로 변환

- 모델 학습 : 반복 횟수를 늘려도 성능이 크게 향상 X

✔️ 인공 신경망(Artificial Neural Network, ANN)

- 구성

출력층: 신경망의 최종 값을 만듦. 이를 바탕으로 클래스를 예측
뉴런(=유닛): 출력층을 계산하는 단위. 선형 계산이 이루어짐
입력층: 픽셀값 자체. 특별한 계산을 수행하지 X

- 텐서플로와 케라스

텐서플로: 구글이 오픈소스로 공개한 딥러닝 라이브러리. 저수준 API와 고수준 API로 구성
케라스: 텐서플로의 고수준 API. 2015.03 François Cholletet가 만듦

✔️ 인공 신경망 실습

1) 데이터 준비

- 앞서 사용한 훈련 데이터, 타깃 데이터 사용

- 검증 세트를 별도로 덜어내어 사용

2) 인공 신경망 제작

- 활성화 함수: 뉴런의 선형 방정식 계산 결과에 적용되는 함수

3) 인공 신경망으로 패션 아이템 분류하기

- 손실 함수

이진 분류: loss = 'binary_crossentropy'
다중 분류: loss = 'categorical_crossentropy'

*sparse_categorical_crossentropy: 정수로된 타깃값을 사용해 크로스 엔트로피 손실을 계산하는 것

*one-hot encoding: 타깃값을 해당 클래스만 1이고 나머지는 모두 0인 배열로 만드는 것

✅ 확인문제
Q. 어떤 인공 신경망의 입력 특성이 100개이고 밀집층에 있는 뉴런 개수가 10개일 때 필요한 모델 파라미터의 개수는?

A: 100*10 + 10 = 1010

Q: 케라스의 Dense 클래스를 사용해 신경망의 출력층을 만들려고 한다. 이 신경망이 이진 분류 모델이라면 activation 매개변수에 어떤 활성화 함수를 지정해야 하나?

A: sigmoid

Q: 케라스 모델에서 손실 함수와 측정 지표 등을 지정하는 메서드는?

A: compile(): 훈련 전 설정 단계를 반드시 거쳐야 함!

Q: 정수 레이블을 타깃으로 가지는 다중 분류 문제일 때 케라스 모델의 compile() 메서드에 지정할 손실 함수로 적절한 것은?

A: 다중 분류: loss = 'categorical_crossentropy'

5주차_Ch.06 비지도 학습

MJs' — Sun, 4 Feb 2024 13:20:18 +0900

시작이 반인 것 치고는 시작이 조금 긴 것 같습니다 하하핫~ 맞아요 아재 개그니까 그냥 넘겨봅시다

혼공학습단의 완주를 2024년 시작의 목표로 잡았던 날이 엊그제 같은데 벌써 2월이네요... 시간은 정말 빠릅니다.

이번 주에는 오랜만에 여유를 되찾았습니다. 그런데 늦잠이라는 요 녀석이 안와야 할 때는 오더니만 와도 될 때는 안 오는... 참 청개구리 같은 녀석입니다.

뭐 암튼 2월에도 다들 열심히 공부하고 보람차게, 보내보자구요!!

Ch 06-1. 군집 알고리즘

✔️ 비지도 학습(unsupervised learning)

: 타깃이 없을 때 사용하는 머신러닝 알고리즘

✔️ 실습

1) 데이터 준비

차례대로 (샘플의 개수, 이미지 높이, 이미지 너비) 순

imshow(): 넘파이 배열로 저장된 이미지를 그릴 수 있음. matplotlib 내장 함수
흑백 이미지 → cmap 매개변수를 'gray'로 지정

0에 가까울수록 검고, 값이 높을수록 밝게 표시

⇒ 관심 대상에 집중하기 위해 배경과 대상을 반전시킴(=배경을 검게 만들고 대상을 밝은색으로 만듦)

gray_r 은 다시 반전하여 우리 눈에 보기 좋게 출력

파인애플과 바나나

2) 픽셀값 분석하기

- 100 ×100을 10000 ×1로 변환( ∵배열의 편리성 ↑)

- 배열에 들어있는 샘플의 픽셀 평균값 계산

axis=0: 행 계산, axis=1: 열 계산

데이터 시각화 ⇒ 픽셀값만으로는 구분하기 쉽지 않은 것을 발견

- 픽셀별 평균값 계산 (axis=0)

사과: x축이 커질 수록 증가, 파인애플: 고르게 분포, 바나나: 중앙에 집중

3) 평균값과 가까운 사진 고르기

- 절댓값 오차 이용

abs(): 절댓값을 계산. 넘파이 내장 함수. absolute()와 동일

argsort(): 작은 것에서 큰 순서대로 나열한 배열의 인덱스 반환

군집(clustering): 비슷한 샘플끼리 그룹으로 모으는 작업. 대표적인 비지도 학습 작업
클러스터(cluster): 군집 알고리즘에서 만든 그룹

Ch 06-2. k-평균

✔️ k-평균(k-means) 알고리즘

- cluster center(=centroid): 평균값이 클러스터의 중심에 위치한다는 말에서 유래

- 작동방식

무작위로 k개의 클러스터 중심을 정함
각 샘플에서 가장 가까운 중심을 찾아 해당 클러스터의 샘플로 지정
클러스터에 속한 샘플의 평균값으로 클러스터 중심을 변경
클러스터 중심에 변화가 없을 때까지 2번으로 돌아가 반복

- 최적의 k 찾기

엘보우 방법

: 클러스터 개수를 늘려가면서 이너셔의 변화를 관찰하여 최적의 클러스터 개수를 찾는 방법

클러스터 개수를 증가시키면서 이너셔를 그래프로 그리면 감소하는 속도가 꺾이는 지점: 클러스터 개수를 늘려도 이너셔가 크게 줄어들지 X

cf. 이너셔: 클러스터 중심과 클러스터에 속한 샘플 사이의 거리 제곱의 합

- 실습

inertia_: 자동으로 이너셔를 계산

✔️ 실습

1) 데이터 준비

2) 데이터 학습: k-means 사용

- n_cluster: 클러스터 개수 지정

3) 결과 확인

좌측부터 0, 1, 2의 경우

k-means가 찾은 클러스터 중심을 이미지로 출력

transform(): 훈련 데이터 샘플에서 클러스터 중심까지 거리로 변환

predict(): 가장 가까운 클러스터 중심을 예측 클래스로 출력

Ch 06-3. 주성분 분석

✔️ 차원과 차원 축소

- 차원: 데이터가 가진 속성

- 차원 축소: 비지도 학습 작업 중 하나로, 데이터를 가장 잘 나타내는 일부 특성을 선택하여 데이터 크기를 줄이고 지도학습 모델의 성능 향상에 기여

(+) 원본차원으로 손실을 최대한 줄이면서 복원 가능 ex) 주성분 분석(principal component analysis = PCA)

✔️ 주성분 분석(PCA)

: 데이터에 있는 분산이 큰 방향을 찾는 것

- 주성분의 특징

원본 차원과 같음
주성분으로 바꾼 데이터는 차원이 줄어듦
일반적으로 주성분은 원본 특성의 개수만큼 찾을 수 있음

✔️ 실습

1) 데이터 준비

2) 주성분 분석 알고리즘 사용

- n_components 매개변수에 주성분의 개수 지정

- fit() 매서드에 타깃값 제공 X ( ∵ 비지도 학습)

PCA가 찾은 주성분은 components_ 속성에 저장

3) 주성분을 그림으로 나타내기(06-2 실습 참고)

원본 데이터에서 가장 분산이 큰 방향을 순서대로 나타낸 것

4) transform()을 이용해 원본 데이터의 차원 변환

(300, 10000) → (300, 50)

원본 데이터 재구성

1) 축소한 특성 복원

2) 100 ×100으로 바꾸어 100개씩 출력

✔️ 설명된 분산(explained variance)

: 주성분이 원본 데이터의 분산을 얼마나 잘 나타내는지 기록한 값

- explained_variance_ratio_에 저장

- 첫 번째 주성분의 설명된 분산이 가장 큼

- 분산 비율을 모두 더하면 50개의 주성분으로 표현하고 있는 총 분산 비율을 얻을 수 있음

✔️ 다른 알고리즘과 함께 사용하기(feat. 로지스틱 회귀 모델)

과일 사진 원본 데이터 vs. PCA로 축소한 데이터

1) 로지스틱 회귀 모델 및 타깃값 생성

2-1) 원본 데이터 바탕으로 교차 검증

2-2) PCA 데이터 바탕으로 교차 검증

정확도 증가, 훈련 시간 20배 감소

✅ 06-3 확인문제

Q. 특성이 20개인 대량의 데이터셋이 있다. 이 데이터셋에서 찾을 수 있는 주성분 개수는?

A. 20개. 일반적으로 특성의 개수만큼 주성분 개수를 찾을 수 있음

Q. 샘플 개수가 1,000개이고 특성 개수는 100개인 데이터셋이 있다. 즉, 이 데이터셋의 크기는 (1000, 100)이다. 이 데이터를 사이킷런의 PCA 클래스를 이용해 10개의 주성분을 찾아 변환했다. 변환된 데이터셋의 크기는?

A. (1000, 10). 샘플의 개수는 그대로이고, 특성 개수만 100에서 10으로 바뀜

Q. 위의 문제에서 설명된 분산이 가장 큰 주성분은 몇 번째인가?

A. 첫 번째 주성분 (블로그 내용 참고)

4주차_Ch.05 트리 알고리즘

MJs' — Sun, 28 Jan 2024 17:06:34 +0900

혼공족장님은 진짜...고래도 춤추게 할 수 있을거에요 암요 그럼요

사설을 한번 시작하고 나니 멈출 수가 없습니다. 그렇지만 이것도 혼공단의 매력 아닐까 생각해 봅니다.

이번주는 정말 제 인생 그 어느 때보다 바빴다고 말할 수 있을 만큼 정신도 없고, 보람차기도 하고 피곤하기도 한 아무튼 그런 복잡한 한 주였는데 그 마무리를 혼공머신으로 할 수 있다니 감회가 남다릅니다.

트리 알고리즘, 결정 트리, Decision Tree 등 다양한 명칭으로 불리고 있는 이 알고리즘은 제가 전공 수업 때 직접 구현을 해본 모델이기도 합니다. 그래서 그런가요, 더 반가운 마음이 드네요. 바로 밑에 제가 구현했던 코드도 첨부해 놓았으니까요, 지루해질 때쯤 한번 구경해 보세요! 트리 알고리즘을 처음 구현하신 분들이라면 누구나 공감할 수 있는 웃픈 부분도 있으니까요

정확도 81% 넘었다고 좋아했더니

이런 결과가 나왔습니다 이것이 바로 과대 적합의 표본입니다 여러분 절대 이렇게 되지 마시길...

그럼, 본격적으로 시작해 볼까요!

Ch 05-1. 결정 트리

위의 그림은 Logestic Regression의 XOR 문제이다. 선형 분류 모델로만 나누게 된다면 다음과 같은 문제가 생김. (어느 방향으로 선을 그어도 똑바로 분류를 못함) 그래서 대안으로 나오게 된 것이 바로 Decision Tree임.

✔️ 결정 트리 실습

오늘은 먼저 실습부터 정리했다. 결과를 본 뒤에 설명하는 것이 더 효과적일 것 같아서!

1) 데이터 준비 및 로지스틱 회귀 학습 (더 보려면 펼치기!)

훈련 세트 테스트 세트 나눠주고

학습시켰더니

설명하기 엄청 어려운 모델이 나왔다

2) 결정 트리 모델 학습 및 결과 확인

이 수치를 보는 순간 결정 트리를 그리기 무서워졌다. 과대적합....

두근두근

그리고 역시나ㅋㅋㅋㅋㅋㅋ내 과제와는 비교도 못할 결정트리다 와우

✔️ 결정 트리

: 데이터를 잘 나눌 수 있는 질문을 추가하여 분류 정확도를 높이는 모델

사용법은 이전과 동일. fit()로 훈련 → score()로 정확도 평가

※ 결정 트리는 표준화 전처리 과정이 필요 없음. 다만 전처리를 하면 특성값을 표준점수로 바꾸지 않아 이해하기 더 쉬울 수 있음

결정 트리의 구조

노드(node): 결정 트리를 구성하는 핵심 요소. 훈련 데이터의 특성에 대한 테스트를 표현. 일반적으로 하나의 노드는 2개의 가지를 가짐
- 루트 노드(root node): 가장 위에 있는 노드(한 개)
- 리프 노드(leaf node): 가장 아래에 달린 노드(여러 개)
- 부모 노드(parent node): 주어진 노드의 상위 노드
- 자식 노드(child node): 하나의 노드로부터 분리되어 나간 2개 이상의 노드들 → 자신이 부모이자 자식 노드일 수 있음
가지(branch): 테스트의 결과(True, False)를 나타냄

결정 트리 예측 방법

: 리프 노트에서 가장 많은 클래스가 예측 클래스가 됨 (k -최근접 이웃과 유사)

불순도

Gini impurity(지니 불순도) = $1 - (음성 클래스 비율^2 + 양성 클래스 비율^2)$
Entropy(엔트로피) = $- 음성 클래스 비율 × log_2(음성 클래스 비율)$ $- 양성 클래스 비율 × log_2(양성 클래스 비율)$

⇒ 결정 트리 모델은 부모 노드와 자식 노드의 불순도 차이가 가능한 크도록 트리를 성장시킴

= 정보 이득이 최대가 되도록 데이터를 나눔

가지치기(Pruning)

: 일반화가 잘 될 수 있도록(=과대적합이 되지 않도록) 트리를 조절하는 것. 가장 대표적인 방법은 트리의 최대 깊이를 지정하는 것임 → max_depth 매개변수 지정

✔️ 결정 트리 다시 실습해 보기

깊이를 3으로 지정, filled를 True로 하면 클래스에 맞게 노드의 색을 칠할 수 있음. feautre_names에는 특성의 이름을 전달할 수 있음

아까보다 훨씬 이해하기 쉬운 결정 트리 등장

- 특성 중요도 계산

특성 중요도 : 각 노드의 정보 이득과 전체 샘플에 대한 비율을 곱한 후 특성별로 더하여 계산함. 특성 중요도의 값을 모두 더하면 1이 됨.

특성 중요도는 결정 트리 모델을 특성 선택에 활용할 수 있게 해 줌.

여기서는 두 번째 특성인 당도가 특성 중요도가 가장 높음.

Ch 05-2. 교차 검증과 그리드 서치

✔️ 검증 세트(validation set)

: 훈련 세트를 나누어 모델이 과대적합인지 과소적합인지 측정하는 세트

- 실습

이 모델은 훈련 세트에 과대적합되어 있음

✔️ 교차 검증 (cross validation)

: 검증 세트를 떼어 내어 평가하는 과정을 여러 번 반복하고, 그 점수를 평균하여 최종 검증 점수를 얻음

k-fold cross validation이라고 부르며, k에 몇 부분으로 나누는지에 따라 2-fold, 3-fold 등 다양하게 통칭할 수 있음.

교차 검증을 이용하면 데이터의 80% ~ 90%까지 훈련에 사용할 수 있음

✅기본 미션 : 3-폴드 교차 검증 그리기

- 실습

cross_validate() 이용. fit_time, score_time, test_score 키를 가진 딕셔너리를 반환함

cf. cross_val_score()는 cross_validate()의 전신으로 test_score값만 반환함

cross_validate()는 훈련 세트를 섞어 폴드를 나누지 않음

훈련 세트를 섞은 후 10-폴드 교차 검증. splitter를 지정해야 함

✔️ 하이퍼파라미터 튜닝

- 하이퍼파라미터: 모델이 학습할 수 없어서 사용자가 지정해야만 하는 파라미터

- 하이퍼파라미터 튜닝: 라이브러리가 제공하는 기본값을 그대로 사용해 모델을 훈련한 후, 검증 세트의 점수나 교차 검증을 통해 매개변수를 조금씩 바꿔나감.

※ 하나의 파라미터가 바뀌면 다른 매개변수의 최적값이 바뀜 → 두 매개변수를 동시에 바꿔가며 최저의 값을 찾아야 함

GridSearchCV: 하이퍼파라미터 탐색과 교차 검증을 한 번에 수행. 최상의 모델을 찾은 후 훈련 세트를 전체로 사용해 최종 모델을 훈련

그리드 서치로 찾은 최적의 매개변수는 best_params_속성에 저장되어 있음

여기서는 0.001값이 가장 좋은 값

- GridSearchCV 과정 정리

탐색할 매개변수 지정
훈련 세트에서 그리드 서치를 수행하여 최상의 평균 검증 점수가 나오는 매개변수 조합을 찾는다
그리드 서치는 최상의 매개변수에서 전체 훈련 세트를 사용해 최종 모델을 훈련. 이 모델도 그리드 서치 객체에 저장

좀 더 복잡한 예제

Random Search: 매개변수 값의 목록을 전달하는 것이 아니라 매개변수를 샘플링할 수 있는 확률 분포 객체를 전달

Ch 05-3. 트리의 앙상블

✔️ 랜덤 포레스트(Random Forest)

: 앙상블 학습의 대표 주자 중 하나로, 결정 트리를 랜덤 하게 만들어 결정 트리(나무)의 숲을 만듦.

⇒ 각 결정 트리의 예측을 사용해 최종 예측을 만듦

- 데이터 생성(=부트스트랩 샘플) : 훈련 데이터에서 랜덤하게 샘플을 추출, 이때 한 샘플이 중복되어 추출될 수 있음

- 각 노드 분할: 전체 특성 중 일부 특성을 무작위로 고른 다음, 이 중에서 최선의 분할을 찾음

RandomForestClassifier: 전체 특성 개수의 제곱근만큼의 특성 선택 → 각 트리의 클래스별 확률을 평균하여 가장 높은 클래스를 예측으로 삼음
RandomForestRegression: 전체 특성 사용 → 각 트리의 예측을 평균

- OOB 샘플: 부트스트랩 샘플에 포함되지 않고 남는 샘플 ← 부트스트랩 샘플로 훈련한 결정 트리를 평가하는 데 이용가능

➡️ 훈련 세트에 과대적합되는 것을 방지(∵ 랜덤하게 선택한 샘플과 특성 사용) ⇒ 검증 세트와 테스트 세트에서 안정적인 성능을 얻을 수 있음

- 실습

✔️ 엑스트라 트리 (Extra Trees)

: 랜덤 포레스트와 매우 유사, 기본적으로 100개의 결정 트리 훈련

- 전체 특성 중 일부 특성을 랜덤하게 선택하여 노드를 분할하는 데 사용

⚠️ 랜덤 포레스트와 엑스트라 트리의 차이점: 부트스트랩 샘플을 사용하지 않음(= 결정 트리를 만들 때 전체 훈련 세트 사용), 노드 분할 시 무작위로 분할

splitter = 'random'

- 실습

회귀 버전은 ExtraTreesRegressor 클래스 이용하기

✔️ 그레이디언트 부스팅 (=Gradient Boosting)

: 깊이가 얕은 결정 트리를 사용하여 이전 트리의 오차를 보완하는 방식으로 앙상블 하는 방법. 결정 트리를 계속 추가해 가면서 가장 낮은 곳을 찾아 이동

- 기본적으로 깊이가 3인 결정 트리를 100개 사용 ⇒ 과대 적합에 강하고, 높은 일반화 성능을 기대할 수 있음

- 경사 하강법을 사용하여 트리를 앙상블에 추가

- 분류: 로지스틱 손실 함수, 회귀: 평균 제곱 오차 함수 사용

- 학습률 매개변수로 속도 조절

- 실습

실습 1

실습 2

특성 중요도 제공. 랜덤 포레스트보다 일부 특성에 더 집중

✔️ 히스토그램 기반 그레이디언트 부스팅 (= Histogram-based Gradient Boosting)

: 입력 특성을 256개 구간으로 나눔 → 노드를 분할할 때 최적의 분할을 매우 빠르게 찾을 수 있음

- 입력에 누락된 특성이 있더라도 따로 전처리할 필요가 없음

- 기본 매개별수에서 안정적인 성능을 얻을 수 있음

- 트리의 개수를 지정할 때 max_iter를 사용

- 실습

permutation_importance(): 특성을 하나씩 랜덤 하게 섞어서 모델의 성능이 변화하는지를 관찰, 어떤 특성이 중요한 지 계산. 훈련 세트, 테스트 세트에 모두 적용 가능(+추정기 모델에도 사용 가능).
imporances(특성 중요도), importances_mean(평균), importances_std(표준편차) 반환

최종 성능

3주차_Ch.04 다양한 분류 알고리즘

MJs' — Sun, 21 Jan 2024 00:08:52 +0900

본격적으로 공부 시작하기 전에

자축 한번 하고 갈게요 사실 2주차에 우수 혼공족으로 선발되어서 너무 기분 좋았거든요 혼공 족장님 감사합니다

무언가를 꾸준히 한다는 게 참 쉽지 않다는 걸 느끼고 있습니다. 왜 변환점을 도는 요맘때가 고비인 지 알 것 같아요

평일에 혼공단 활동을 하는 게 쉽지 않아서 주말에 하고 있는데 정말 하루하루가 순식간에 지나갑니다.

사설이 길어지는 3주차입니다..ㅎㅎ 진짜 그러면 시작해 볼까요!!!

Ch 04-1. 로지스틱 회귀

✔️ 로지스틱 회귀

: 선형 방정식을 바탕으로 분류를 하는 모델

시그모이드 함수를 이용하여 0~1 사이 값을 표현

요것도 내가 수업시간에 필기했던 내용이다. 시그모이드 함수와 그래프를 참고하면 좋을 듯하다.

- 넘파이를 이용하여 시그모이드 함수 그래프를 그리면 다음과 같다.

✔️ 로지스틱 회귀 이진 분류 실습

1) 데이터 준비

비트 OR 연산자를 사용해 합침

2) 모델 학습

3) 샘플 예측 및 예측 확률 출력

두 번째 샘플 제외 모두 도미로 예측, 빙어가 양성 클래스

4) 사용된 로지스틱 회귀 함수 확인

학습 계수 확인

따라서, 로지스틱 회귀 모델이 학습한 방정식은 다음과 같음

z = -0.404 × (weight) - 0.576 × (length) - 0.663 × (Diagonal) - 1.013 × (height) - 0.732 × (width) - 2.161

decision_function(): z값 계산
expit(): 시그모이드 함수 계산 → z값 확률 계산

✔️ 로지스틱 회귀 다중 분류 실습

1) 로지스틱 회귀 함수 학습

- 파라미터 설정

max_iter: 반복 횟수. 기본값은 100
C: 규제 제어 정도. 값이 작을수록 규제가 커지며 기본값은 1 (+로지스틱 회귀는 계수의 제곱을 규제=L2 규제)

여기서는 C를 20, 반복 횟수를 1000으로 설정

2) 샘플 예측 및 예측 확률 출력

3) 다중 분류의 로지스틱 회귀 함수

: 소프트맥스 함수를 사용하여 7개의 z값을 확률로 변환

확률이기 때문에 각각을 더했을 때 1이 나와야 맞다

softmax() 임포트하여 계산

✔️ 기본 미션 (04-1 #2 확인 문제)

Q. 로지스틱 회귀가 이진 분류에서 확률을 출력하기 위해 사용하는 함수는 무엇인가요?

1. 시그모이드 함수

2. 소프트맥스 함수

3. 로그 함수

4. 지수 함수

선형방정식의 출력을 시그모이드 함수( $1/(1+e^{-z})$ )를 이용하여 변환하면 0~1의 값으로 나타낼 수 있다.

소프트맥스는 이진 분류가 아닌, 다중 분류에서 사용한다

Ch 04-2. 확률적 경사 하강법

✔️ 확률적 경사 하강법

잠시 이차함수의 그래프를 생각해 보자. 이차함수의 꼭짓점을 찾기 위해 어떤 방법을 사용했는지 생각나는가?
우리는 기울기를 이용하였다. 미분을 통해 기울기를 비교, 기울기가 0인 지점이 곧 꼭짓점임을 이용하였다.

이를 바탕으로 확률적 경사 하강법을 이해해 보자.

확률적 경사 하강법이란, 점진적 학습(훈련한 모델+새로운 데이터 조금씩 더 훈련)의 대표적인 알고리즘으로 하나의 랜덤한 샘플을 골라 기울기를 비교해 나가며(전체 샘플을 모두 사용할 때까지 반복) 경사를 내려가는 방식이다.

- 에포크(epoch): 훈련 세트를 한 번 모두 사용하는 과정

- Minibatch Gradient Descent: 여러 개의 샘플을 사용해 경사 하강법을 수행하는 방식

- Batch Gradient Descent: 전체 샘플을 사용해 경사 하강법을 수행하는 방식

- Stochastic Gradient Descent: 하나의 샘플을 사용해 경사 하강법을 수행하는 방식

batch가 일정한 것을 바탕으로 stochastic과 mini-batch를 비교해보면, stochastic은 매우 불규칙한 것에 반해 mini-batch는 어느 정도 batch와 유사한 것을 알 수 있음

✔️ 손실 함수(loss function)

: 머신러닝 알고리즘이 얼마나 엉터리인지를 측정하는 기준 ⇒ 값이 작을수록 좋음

- 미분 가능해야 함(∵ 기울기를 비교해야 함)

- 이진 분류 loss function: logistic loss function(=binary cross-entropy loss function)

- 다중 분류 loss function: cross-entropy loss function

비용 함수(cost function) : 훈련 세트에 있는 모든 샘플에 대한 손실 함수의 합

✔️ 확률적 경사 하강법 실습

1) 데이터 준비 및 전처리

2) 확률적 경사 하강법 학습

- SDGClassifier 이용

loss를 'log'로 지정하여 로지스틱 손실 함수 지정

3) 에포크와 과대/과소 적합

- 과소 적합: 에포크 횟수가 너무 적은 경우 발생

- 과대 적합: 에포크 횟수가 너무 많은 경우 발생

300번 동안 학습시킨 경우

100번째 에포크가 적절한 횟수로 보임

100번째 에포크 훈련 점수는 다음과 같음

2주차_ Ch.03 회귀 알고리즘과 모델 규제

MJs' — Sun, 14 Jan 2024 22:19:50 +0900

Ch 03-1. k-최근접 이웃 회귀

✔️ 회귀

: 임의의 어떤 숫자를 예측하는 문제. 정해진 클래스가 없고 임의의 수치를 출력

ex) 내년도 경제 성장률 예측, 배달이 도착할 시간 예측

✔️ k-최근접 이웃 회귀

: 분류와 똑같이 예측하려는 샘플에 가장 가까운 샘플 k개를 선택, k개의 평균값이 샘플의 예측 타깃값

: 이웃한 샘플의 타깃은 임의의 수치(not 클래스)

✔️ 교재 실습

1) 데이터 준비 및 시각화

하나의 특성을 이용하기 때문에 특성을 x축에, 타깃 데이터를 y측으로 배치 그러면 농어의 길이와 무게가 비례한다는 당연~한 결과를 알 수 있음

훈련 세트랑 테스트 세트 나눠주고

사이킷런에 사용할 훈련세트는 2차원 배열여야 하므로 reshape해준다

2) 회귀 모델 훈련 및 평가

결정계수($R^2$) : 각 샘플의 타깃과 예측한 값의 차이를 곱하여 더하고, 타깃과 타깃 평균의 차이를 제곱하여 더한 값으로 나눔

: 타깃의 평균 정도를 예측하는 수준이라면 $R^2$는 0에 가까워지고 예측이 타깃에 아주 가까워지면 1에 가까운 값이 됨

결정계수 점수

MAE(Mean absolute error): 평균 절댓값 오차

예측이 평균적으로19g 정도 타깃값과 다르다는 것을 보여줌

훈련 세트의 점수(어라 왜 훈련세트가 더 점수가 낮지 )

✔️ 과대적합과 과소적합

과대적합(overfitting): 훈련 세트에서 점수가 굉장히 좋았는데 테스트 세트에서 점수가 굉장히 나쁠 경우. 훈련 세트에만 잘 맞는 모델임을 의미
과소적합(underfitting): 훈련 세트보다 테스트 세트 점수가 높거나 두 점수가 모두 낮은 경우. 모델이 너무 단순하여 훈련 세트에 적절히 훈련되지 않은 경우를 의미

위의 실습의 경우, 훈련 세트보다 테스트 세트의 점수가 높으므로 과소 적합의 경우임.

⇒ 모델을 조금 더 복잡하게 만들면 해결! (이웃의 개수 k를 줄이면 됨)

✔️ 기본 미션 (03-1 #2 확인문제)

⇒ n이 커짐에 따라 모델이 단순해지는 것을 알 수 있음

k-최근접 이웃 회귀는 가장 가까운 샘플을 찾아 타깃을 평균하기 때문에 새로운 샘플이 훈련 세트의 범위를 벗어나면 엉뚱한 값을 예측한다는 한계를 가져옴

Ch 03-2. 선형 회귀

앞서, 과거 내가 정리했던 내용을 공유한다. 선형 회귀는 다음과 같이 나눌 수 있다

✔️ 선형 회귀 (linear regression)

: x와 y의 선형 관계를 파악한다. 쉽게 생각하면, 직선의 방정식을 구하기 위해 기울기와 절편을 찾는 과정이다.

Ch. 03-1에서 사용한 데이터를 바탕으로 선형 회귀 모델을 훈련시켰더니 결과는 다음과 같았다.

그때의 기울기와 y절편

결과 시각화

R^2 점수 확인

✔️ 다항 회귀 (polynomial regression)

: 다항식을 사용한 선형 회귀

무게 = 1.01 × 길이² - 21.6 × 길이 + 116.05

결과 시각화

Ch 03-3. 특성 공학과 규제

✔️ 다중 회귀 (multiple regression)

: 여러 개의 특성을 사용한 회귀

✔️ 특성 공학 (feature engineering)

: 기존의 특성을 사용해 새로운 특성을 뽑아내는 작업

✔️ 교재 실습

1) 데이터 준비

판다스 이용

2) 사이킷런의 변환기

- 변환기: 특성을 만들거나 전처리하기 위한 다양한 클래스 제공

PolynomialFeatures 클래스는 각 특성을 제곱한 항을 추가하고 특성끼리 곱한 항을 추가함

9개의 특성이 각각 어떤 입력의 조합으로 만들어졌는지 확인

3) 다중 회귀 모델 훈련

- 특성의 개수를 추가하여 다시 학습(problem!)

특성의 개수가 너무 과도해지면 훈련 세트에 과대적합 되어 테스트 점수가 떨어짐

4) 규제

릿지(ridge): 계수를 제곱한 값을 기준으로 규제 적용.
미분 시 weight의 크기에 상관없이 부호에 따라 일정한 상수값을 빼거나 더해주게 됨.
→ 특정 weight들을 0으로 만들 수 있어 원하는 weight만 남길 수 있는 feature selection 역할을 할 수 있음
⇒ 특정 가중치를 삭제해 모델의 복잡도를 낮출 수 있음.
라쏘(lasso): 계수의 절댓값을 기준으로 규제 적용. 계수의 크기를 아예 0으로 만들 수 있음
weight의 크기에 따라 weight 값이 큰 값을 더 빠르게 감소시키는 weight decay 기법임.
weight의 크기에 따라 가중치의 페널티 정도가 달라지기 때문에 가중치가 전반적으로 작아져서 학습 효과가 L1(릿지) 대비 더 좋게 나타남.

- 릿지 실습

: alpha 매개변수로 규제의 강도를 조절할 수 있음.

alpha 값 ↑ → 규제 강도 ↑ : 과소적합되도록 유도
alpha 값 ↓ → 계수를 줄이는 역할 ↓ → 과대적합 될 가능성이 큼

적절한 alpha값 찾기

alpha값 0.1로 한 최종 모델

- 라쏘 실습

릿지와 동일하게, 적절한 alpha값 찾기

1주차_Ch.02 데이터 다루기

MJs' — Tue, 2 Jan 2024 18:36:03 +0900

Ch 02-1. 훈련 세트와 테스트 세트

✔️ 지도 학습과 비지도 학습

- 지도 학습

: training data (input+target) 이 필요, input의 feature가 사용됨

→ 알고리즘은 training data를 이용하여 정답을 맞히는 것을 학습(ex: binary classification)

- 비지도 학습

: target 없이 input만 사용하여 학습

→ 데이터 파악 및 변형에 이용

(+) 강화 학습

: target 없이 알고리즘이 행동한 결과로 얻은 보상을 사용해 학습

✔️ 훈련 세트와 테스트 세트

- 훈련 세트: 훈련에 사용되는 데이터

- 테스트 세트: 평가에 사용하는 데이터

⇒ 정확한 평가를 위해서는 훈련세트와 테스트 세트가 따로 준비되어야 함

✔️ 샘플링 편향

: 훈련 세트와 테스트 세트에 샘플이 골고루 섞여 있지 않은 경우 발생

샘플링 편향이 과도할 경우, 제대로 된 지도 학습 모델을 만들 수 없음

✔️ 두 번째 머신러닝 프로그램

1. 샘플링 편향의 경우

1) 데이터 준비

2) 훈련 세트, 테스트 세트 나누기

3) 모델 학습 및 평가

샘플링 편향으로 인한 결과

2. 데이터를 무작위로 생성한 경우

1) 넘파이를 이용하여 데이터 셔플

2) 훈련 세트와 테스트 세트 준비

3) 새로운 훈련 세트, 테스트 세트로 학습

Ch 02-2. 데이터 전처리

✔️ 실습 - 데이터 전처리를 하지 않은 경우

1) 데이터 준비(numpy 이용)

- column_stack(): 전달받은 리스트를 일렬로 세운 다음 차례대로 나란히 연결

연결할 리스트는 tuple로 전달

column_stack()을 이용하여 fish_length와 fish_weight 결합, print를 통해 결과 확인

- concatenate(): 첫 번째 차원을 따라 배열을 연결, 연결할 리스트나 배열을 튜플로 전달

- ones() / zeros(): 각각 1과 0을 채운 배열을 생성

2) 훈련 세트와 테스트 세트 나누기(사이킷런 이용)

- train_test_split(): 전달되는 리스트나 배열을 비율에 맞게 훈련 세트와 테스트 세트로 나누어 줌

(+) 섞는 것도 포함. random_state 매개변수 지정 가능

input은 2차원, train은 1차원임을 알 수 있음

- train_test_split()의 매개변수 stratify: 클래스 비율에 맞게 데이터 나눔(데이터가 작을 때 유용)

3) 모델 훈련 및 평가

4) 오류 발생 확인 : 도미가 아닌, 빙어로 분류

5) 오류 발생 이유 찾기

- kneighbors(): 이웃까지의 거리와 이웃 샘플의 인덱스를 반환

샘플에 가장 가까운 5개의 샘플 중 1개만 도미임을 확인 가능

실제 데이터 및 이웃 샘플까지의 거리 확인. distances는 kneighbors()에서 반환

6) 오류 수정하기

- 오류의 원인: x축과 y축 간의 범위 불일치

- 오류 수정: matplotlib에서 xlim()을 이용하여 x축 범위 지정(cf. y축 범위는 ylim() )

✔️ 실습 - 데이터 전처리를 한 경우

데이터 전처리(data preprocessing)
: 데이터 특성 간의 scale이 다를 경우 특성값을 일정한 기준으로 맞춰주는 작업

- 표준점수(standard score, z score) : 가장 널리 사용하는 전처리 방법. 각 데이터가 원점에서 몇 표준편차만큼 떨어져 있는지를 나타냄

표준점수 구하기(numpy의 broadcasting 이용)

1) 전처리 데이터로 모델 훈련하기

샘플[25, 150]을 동일한 비율로 변환해주지 않을 때의 결과

올바른 결

2) 결과

distances까지 확인 완료:)

1주차_Ch.01 나의 첫 머신러닝

MJs' — Tue, 2 Jan 2024 17:00:52 +0900

Ch 01-1. 인공지능과 머신러닝, 딥러닝

✔️ 인공지능이란

: 사람처럼 학습하고 추론할 수 있는 지능을 가진 컴퓨터 시스템을 만드는 기술

강인공지능 (= 인공일반지능)	약인공지능
영화 속 인공지능 ex) 영화 <그녀>의 사만다, <터미너이터>의 스카이넷 등	현실에서 마주하는 인공지능. 보조 역할만 가능 ex) 음성 비서, 자율 주행 자동차, 음악 추천, 기계 번역 등

✔️ 머신러닝이란

: 규칙을 일일이 프로그래밍하지 않아도 자동으로 데이터에서 규칙을 학습하는 알고리즘을 연구하는 분야

통계학과 관련이 높음(feat. 오픈소스 통계 소프트웨어 R)
최근 머신러닝은 경험을 바탕으로 발전
⇒ 대표적인 머신러닝 라이브러리: scikit-learn
- 파이썬 API 사용
- 오픈소스 라이브러리

✔️ 딥러닝이란

: 인공 신경망을 기반으로 한 방법들을 통칭

ex) LeNet-5, AlexNet 등

- 대표적인 라이브러리: TensorFlow(Google, 2015), PyTorch(FaceBook, 2018) ⇐ 모두 파이썬 API 제공

Ch 01-2. 코랩과 주피터 노트북

✔️ 구글 코랩

: 웹 브라우저에서 무료로 파이썬 프로그램을 테스트하고 저장할 수 있는 서비스

(=클라우드 기반의 주피터 노트북 개발 환경)

✔️ 노트북

: 코랩 파일

구글 클라우드의 가상 서버 사용
동시에 사용할 수 있는 가상 서버는 최대 5개
1개의 노트북을 12시간 이상 실행 불가

✔️ 코랩 실습

- Hello World 출력 및 파일 이름 변경

- 파일 변경 후 드라이브에서도 변경 확인 가능

Ch 01-3. 마켓과 머신러닝

✔️ 데이터 준비하기

도미 데이터(좌) 빙어 데이터(우)

✔️ 첫번째 머신러닝 프로그램

: k-Nearest Neighbors(k-최근접 이웃) 알고리즘 이용

1) 두 리스트를 하나로 합친 후 scikit-learn을 이용하기 위해 2차원 리스트로 변환

2) 정답 데이터 준비 : 규칙 찾기를 할 때 정답을 알려주어야 의미가 있음

3) 사이킷런 패키지에서 KNeighborsClassifier import

4) fish_data, fish_target 전달하여 훈련

fit() 메서드: 주어진 데이터로 알고리즘 훈련
score() 메서드: 모델을 평가, 0~1 사이 값 반환(1에 가까울수록 많은 데이터를 정확히 맞혔다는 것을 의미)

1.0의 값을 정확도라고 함

✔️ k-최근접 이웃 알고리즘

: 데이터에 대한 답을 구할 때 주위의 다른 데이터를 보고 다수를 차지하는 것을 정답으로 사용

⇒ 가장 가까운 직선거리에 있는 데이터를 보고 판단

⇔ 단점: 데이터가 아주 많으면 사용하기 어려움 (많은 메모리 차지, 시간 오래 걸림)

predict() 메서드: 새로운 데이터의 정답 예측, 2차원 리스트 전달해야 함

kn._fit_X: fish data 속성
kn._y: fish_target 속성

- 매개변수 n_neighbors를 변경하여 몇 개의 데이터를 참고할지 정할 수 있음