CS/ML9 11주차 - 딥 뉴럴 네트워크 학습시키기 12.11.2023 목차 1. 그라디언트가 소실되거나 폭발하는 문제 2. 프리트레이닝 된 레이어 재사용 3. 더 좋은 옵티마이저 4. 정규화를 통해 오버피팅을 피하기 5. 서머리 0. Introduction 복잡한 문제를 풀려고 할 때 마주치는 문제점들이 있음. 1. 아웃풋에서 인풋레이어로 갈수록 그라디언트가 vanish / explode 소실되거나 폭파될 때 2. 데이터가 충분하지 않거나 레이블이 잘 되어있지 않고, 레이블링에 많은 돈이 들어가야 할 때 3. 너무 느릴때 4. 충분한 데이터 / 노이즈가 없는 데이터가 적어서 오버피팅될 리스크가 존재할 때 1. 그라디언트 소실 / 폭파 gradient가 0에 가까울 정도로 작아진 경우 vanish problem 생성 gradient가 너무 커지면 expl.. 2023. 12. 12. 10주차 - ANN 12.10.2023 목차 1. From biological to Arificial Neurons 2. Implementing MLPs with Keras 3. Fine-Tuning Neural Network Hyperparameters 1. 생물학적 뉴런부터 인공뉴런까지 1-1. 생물학적 뉴런 신호가 만들어지면 axon을 통해 전달. 뉴런이 충분한 신호를 받으면 electrical impulse 전기충격 생성 하나 또는 여러개의 이진 인풋과 하나의 이진 아웃풋을 가짐 1-2. 퍼셉트론 가장 심플한 Artificial Neuron Network(ANN) 아키텍쳐임. Threshold Logic Unit(TLU)라고 불리는 인공 뉴런 기반으로 만들어짐 TLU와 일반 ANN의 차이점 1.입력을 랜덤 리얼 밸류.. 2023. 12. 11. [ML] 9주차 - Dimensionality Reduction 11.03.2023 0. Introduction Dimension, 차원: 피쳐의 갯수 데이터의 피쳐가 많다고 해서 성능이 좋아지는 것은 아니다. 피쳐가 많으면 좋은 솔루션, 좋은 성능을 가지는 머신러닝 모델을 만드는 것이 어려워진다. 이 경우 Dimensionality Reduction, 차원 축소가 필요하다. 차원 축소를 할 경우 데이터의 손실을 최소화하면서도 차원을 의미있는 수준까지 줄여야 한다. 차원 축소는 학습시간을 줄여주는 것뿐만 아니라 데이터 비주얼라이제이션에도 굉장히 편리하다. 1. The Curse of Dimensionality, 차원의 저주 인간은 3차원에서 살고 있기 때문에 차원이 그보다 높아지면 직관적으로 이해가 힘들다. 예를들어 평면에서 랜덤 포인트를 잡아낼 때 보더라인에 0.0.. 2023. 11. 3. [ML] 요점정리 25.10.2023 1. ML Project Process 큰 그림 그리기 데이터 얻기 데이터에 대한 인사이트를 얻기 위해 데이터 비쥬얼라이징 ML 알고리즘을 위해 데이터 전처리 트레이닝 모델 결정하기 모델 파인튜닝하기 모델 배포, 모니터링, 유지보수하기 1. Supervised vs unsupervised Supervised Learning: 데이터셋이 레이블되어있는 경우 사용 Unsupervised Learning: 데이터셋이 레이블되어있지 않은 경우 사용 2. Classification vs Regression vs Clustering vs Reinforcement Classification: 카테고리처럼 분류 하는 것 Regression: 실제 값을 예측한다. Clustering: Reinforc.. 2023. 10. 25. [ML] 5주차 - SVM 10.22.2023 0. Support Vector Machine, SVM Support Vector Machine, SVM은 리니어, 논리니어 클래시피케이션, 리그레션, 아우터 디텍션까지도 모두 할 수 있는 강력한 만능 머신 러닝 모델이다. 특히 복잡한 작은-중간 사이즈의 데이터들을 클래시피케이션하는데 특화되어 있다. (컴플렉스한 피쳐를 가지고 있을 때) 1. Linear SVM Classification 두 개의 클래스를 가르는 디시전 바운더리는 많다. 우리는 그 중에서 가장 좋은 디시전 바운더리를 골라야 한다. 가장 좋은 디시전 바운더리란, 최대한 두 클래시피케이션과 디시전 바운더리 사이의 margin이 똑같고 최대한 넓은 디시전 바운더리이다. 두 마진을 우리는 스트릿이라고 부르는데, 스트릿 외부에.. 2023. 10. 23. [ML] 4주차 - 트레이닝 모델 10.22.2023 0. Introduction Linear Regression은 가장 심플한 모델들 중에 하나다. 이 모델을 학습하는데에는 2가지 방법이 있다. 1. A direct closed-from equation. 다이렉트하게 코스트 펑션을 최소화하는 파라미터를 계산. 2. Gradient Descent, which is an interative optimization. 모델 파라미터를 조금씩 변경하면서 코스트 펑션을 최소화하는 파라미터를 찾아내는 기법 1. Linear Regression 리니어 리그레션은 인풋 피쳐에 대한 가중치를 가진 총합과 바이어스 텀(Bias Term)이라는 상수값으로 예측을 만드는 모델 y=f(x)라는 함수가 있을 때, 우리가 아는 것은 x, y가 포함된 데이터셋이며,.. 2023. 10. 22. 이전 1 2 다음
