Dash&Rush Hanbus

워드 임베딩(word embedding) 단어를 밀집 벡터(Dense vector)(=밀집표현) 형태로 표현하는 방법. 임베딩 벡터(embedding vector)를 생성한다. https://goldenplanet.co.kr/our_contents/blog?number=859 토큰화란? 문장을 토큰 시퀀스로 나누는 과정 토크나이저(토큰화를 수행하는 프로그램)를 통해 토큰화를 수행한다. 토큰화 종류 1.단어 단위 토큰화 -토큰화의 단위가 단어 - 간단하고 명료하다.(가장 쉽게 공백으로 분리할 수 있다.) - '맛있다', '맛있어요', '맛있었다'와 같이 표현이 살짝만 바뀌어도 모든 단어를 어휘집합(단어사전)에 포함하기때문에 어휘집합(단어사전)이 매우 커지는 단점이 있다. - 학습된 토크나이저를 사용하더라도..

Transfer Learning(전이학습)이란? 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법 Transfer Learning(전이학습) 장점 모델의 학습속도가 빨라진다. Transfer Learning(전이학습)을 적용한 모델은 새로운 태스크를 더 잘 수행하는 경향이 있다. Transfer Learning(전이학습) 적용한 모델로는 BERT나 GPT 등이 있다. 업스트림 태스크(Upstream Task) Transfer Learning(특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법)에서 특정태스크에 해당하는 태스크. 간단히 말하면, 먼저 이루어진 학습. 업스트림 태스크를 학습하는 과정을 '프리트레인(pretrain)'이라고 한다. 업스트림 태스크로 프리트레인한 근본 ..

순전파(Forward Propagation)란? 신경망 모델의 입력층부터 출력층까지 순서대로 변수들을 계산하고 저장하는 것을 의미합니다. 계산된 예측값은 손실함수를 통해 실제값과의 오차를 계산한다. 손실함수(Loss fuction)란? 실제값과 예측값의 차이를 수치화해주는 함수 역전파(BackPropagation)란? 최종출력값과 살제값의 오차가 최소가 되도록 가중치(Weight)와 편향(Bias)를 업데이트하는 것을 의미합니다. 옵티마이저를 사용하여 가중치(Weight)를 업데이트한다. 참고! 경사하강법(Gradient descent)이란? 손실함수가 전체 데이터셋의 예측이 얼마나 잘 되는 것인지 보는거라면, 경사하강법은 손실함수를 최소화하는 가중치(Weight)와 편향(Bias)을 찾아내는 방법(옵티..

옵티마이저 (Optimizer)란? 손실 함수(Loss function)를 통해 얻은 손실값으로부터 모델을 업데이트하는 방식으로 신경망은 옵티마이저(SGD, Adam 등등)를 사용하여 가중치(weight)와 편향(bias)업데이트를 통해 모델(신경망)의 최적화 및 정확성 제고한다. 옵티마이저 사용(Tensorflow코드예시) 옵티마이저 종류 각각의 Optimizer에 대한 특징은 추후 공부해서 포스팅하기!

하이퍼파라미터(Hyperparameter) 딥러닝, 머신러닝에서 사용자(개발자)가 직접 설정해주는 설정 값 모델이 훈련하면서 가중치(weights)와 편향(bias)은 자동 업데이트되는 값이지만, 레이어(Dense 등등) 개수, 유닛(Unit) 개수, 학습속도(Learning rate), 활성화 함수(Activaction fuction), 반복 훈련 횟수(Epoch), 손실함수(Loss fuction) 등 사용자가 직접 설정해줘야 하는 값들이 있는데 이를 '하이퍼파라미터(Hyperparameter)'라고 한다. 하이퍼파라미터 값을 조절하는 행위를 '하이퍼파라미터 튜닝'이라고도 한다. 하이퍼파라미터는, 사용자가 어떠한 하이퍼파라미터 값을 설정하느냐에 따라 모델의 성능 및 결과가 달라지기 때문에 매우 중요한..

머신러닝이란? 머신러닝은 인공지능의 한 분야로, 사람이 주는 데이터로 모델(=머신러닝=알고리즘)을 '학습'시켜 그것을 바탕으로 '새로운 데이터에 대한 결과를 판단 및 예측'하는 것을 말합니다. 오늘은 그 중에서도 "지도학습" 에 대해 정리해보겠습니다.!! 사람의 몸무게, 키 데이터(훈련데이터)를 머신러닝 알고리즘에 학습(fit)시킨 후, 어떤 한 사람의 몸무게만 가지고 키(연속적인 값)를 예측하는 것을, 지도학습-회귀. (대표적인 회귀문제: 보스턴 주택가격 예측) www.kaggle.com/c/house-prices-advanced-regression-techniques House Prices - Advanced Regression Techniques Predict sales prices and prac..