AI Platform / Web

0. 들어가면서 기본적인 자연어 처리 흐름을 알기 위해서는 아래의 블로그에서 확인을 하자. han-py.tistory.com/249?category=942088 자연어처리 개념(RNN에서 BERT) 1. RNN (Recurrent Neural Network) RNN이 왜나왔을까? 기존 신경망은 연속적인 시퀀스를 처리하기 어렵다. 따라서 입력의 순서가 중요한 분야인 자연어 처리, 음성인식, 주식, 날씨, 음악 같은 부분에서 한 han-py.tistory.com 1. BERT(Bi-directional Encoder Representations from Transformers) 기본 개념 기본적으로 Pre-trained BERT에 위에 classification layer를 하나 추가해주면 다양한 NLP를 ..

1. RNN (Recurrent Neural Network) RNN이 왜나왔을까? 기존 신경망은 연속적인 시퀀스를 처리하기 어렵다. 따라서 입력의 순서가 중요한 분야인 자연어 처리, 음성인식, 주식, 날씨, 음악 같은 부분에서 한계가 들어난다. RNN이란 아래의 그림과 같이 이전 출력값이 현재 결과에 영향을 미친다. 위 그림에서 식을 보면 순환 w와 입력 U의 두 개의 가중치가 존재하는것을 알 수 있다. 물론 입출력도 자유롭다는 것을 알 수 있다. 2. LSTM(Long Short Term Memory) LSTM이 나왔는다는 RNN의 문제점이 있다는 것을 알 수 있다. 아래의 그림을 보면 처음 입력의 정보가 뒤로 갈수록 사라진다는 것을 알 수 있다. LSTM의 목적은 입력 중 핵심적인 정보를 잊어버리지 ..

0. 들어가면서 합성곱 신경망(CNN)인 Convolution Neural Network의 기본 연산중 하나인 Pooling 연산에 대해 알아보자. 아래의 블로그를 통해 Convolution 연산에 대해 알아 보고 동작 원리도 알아 보았다. han-py.tistory.com/230 han-py.tistory.com/231 정리하면 Convolution 연산 후에 Activation Function(ReLU)를 활용해 -1를 0으로 바꿔주는 것 까지 알아 보았다. 이렇게 Convolution layer 하나를 구성한 이 후에 출력값(output feature)을 이용해서 다시 Convolution layer를 하나 구성해서 입력으로 넣어 주거나 Pooling layer를 넣어서 Pooling layer에 ..

0. 들어가면서 cnn의 기초는 아래의 링크를 따라가자. han-py.tistory.com/230 지금 글적다가 다 날라갔다... 인내심을 가지고 다시 적어보겠다. 일단 관련 깃헙 파일에 들어가서 tf.keras.layer.Conv2D를 찾아보면 아래와 같다. 사실 이렇게 생겼구나! 만 보고 넘어가면 된다. class Conv2DTranspose(Conv2D): """Transposed convolution layer (sometimes called Deconvolution). The need for transposed convolutions generally arises from the desire to use a transformation going in the opposite direction of..

0. 들어가면서(VGG16 모델) backbone으로 가장 많이 사용된다. 2014년에 ILSVRC에서 2등 한 모델이다. 1등은 구글에서 했지만, 더 많이 사용한다. 특이한 것이 없는 일반적인 CNN이다. CNN과 동일하게 convolution layer와 max pooling later가 있다. 21개의 layer를 갖고 weight 는 1억 4천 개 pooling 레이어를 제외하고 모두 16개의 레이어가 있다. 1. 코드 1-1. 데이터 받아 저장하기 기본적으로 colab을 사용한다. !rm -rf imagenet !mkdir imagenet # 버섯 !wget -O imagenet/mushroom1.jpg http://farm4.static.flickr.com/3023/2822584107_1861..

1. Activation Function의 사용이유 딥러닝의 신경망을 공부하다 보면, 활성화 함수에 대해 알 수 있다. 활성화 함수란, 출력값을 활성화를 일으키게 할 것인가를 정하고 그 값을 부여하는 함수라고 할 수 있다. 활성화 함수의 사용이유는 Data를 비선형으로 바꾸기 위해서이다. 그런데 왜 비선형으로 바꾸는가? 사실 우리는 딥러닝을 배울 때, 선형시스템에 대해 배운다. 선형은 쉽지만, 망이 깊어지지않는 단점이 있다. 신경망으로 설명해 보면 선형을 이용하여 아무리 복잡하게 만들고 싶어서 hidden layer가 하나 밖에 안나온다. 식으로 보면 상수인 a, b가 있고 변수인 x, y가 있다면, f(ax + by) = af(x) + bf(y)의 성질을 가졌기 때문에 망이 아무리 깊어져도 hidden..

0. 들어가면서 구현을 위해서는 일단 검색을 했다. 아래는 검색을 한 흐름이라고 생각하면 된다. dsc-ewha.tistory.com/51 Image labeling 및 Yolo darkflow/darknet관련 프로젝트 분석 1. Image labeling - 이전에 수집한 데이터 中 "american-sign-language-dataset" 사용하여 labeling - labeling 방법 : https://github.com/tzutalin/labelImg tzutalin/labelImg 🖍️ LabelImg is a graphical i.. dsc-ewha.tistory.com 위의 블로그도 정리가 잘 돼어 있지만, 결국에 난 다 쓰지 않았다.... 프로젝트를 진행하면서 django 서버에 yol..

0, 들어가면서 손실 함수란 신경망이 학습 시 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 하는지를 알 수 있는 지표이다. 즉, 손실함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾아야 한다. 어떻게 찾는지 알아보자. 1. 데이터 학습 머신러닝에서 가장 중요한 것은 무엇일까? 바로 데이터다. 데이터를 통해 패턴을 찾고 그 패턴을 통해 특징을 추출한다. 특징이란 데이터 중에 본질적이고 중요한 데이터를 선별하는 것이고, 선별된 특징으로 패턴을 머신러닝(기계학습)하는 것이다. 이때 이미지의 특징은 보통 벡터로 표현되는데, 컴퓨터 비전 분야에서는 SIFT, SURF, HOG 등의 특징을 사용한다. 이런 특징을 사용하여 이미지 데이터를 벡터로 변환하다. 변환 후에는 지도학습의 대표 분류법인..