AI Platform / Web

0. 들어가면서 from tensorflow.keras.preprocessing.text import Tokenizer tensorflow를 활용하여 Tokenizer로 전처리하는 방법을 알아보자. Tokenizer로 처음부터 모델 넣기 전까지의 과정을 진행해 보자. 자연어 처리에 대해 좀 더 알아보려면 아래의 블로그를 참고하자. han-py.tistory.com/281 1. Tokenizer란 Tokenizer은 사전에 있는 단어의 순서에 맞게 단어를 turning하면서 말뭉치를 벡터화시킨다. tf.keras.preprocessing.text.Tokenizer( num_words=None, filters='!"#$%&()*+,-./:;?@[\\]^_`{|}~\t\n', lower=True, split=..

모델구조 이해하기 텐서플로 2.0 버전에서 케라스를 이용해 모델을 구현하는 방법을 알아보자. 전반적인 자연어처리에 대해 알려면 아래의 블로그를 참고하자' han-py.tistory.com/281 구현 순서 전처리 => 모델만들기 => 학습하기 1.단계 전처리하기 컴퓨터는 한국어를 이해할 수 없습니다. 그래서 Deep learning을 하기 위해 한국어를 컴퓨터가 이해할 수 있게 Vector로 변환하는 과정이 필요합니다. 이를 우리는 전처리라고 하고, 입력값을 임베딩된 벡터로 변형한다라고도 합니다. 활용할 구조 : 심층 신경망(Deep Neural Network) 구조 구현할 모델 : 긍정/부정을 예측하는 감정 분석(Sentiment Analysis) 시작해 볼까요? 다음의 전처리 코드를 한 줄씩 이해해 ..

[tensorflow] preprocessing(전처리) 하기 0. 들어가면서 TensorFlow로 입력값을 모델에 넣기 위해서는 딥러닝 모델이 처리 있도록 전처리라는 과정을 거쳐 숫자로 입력값을 넣어야한다. 전처리의 종류에는 여러가지가 있지만, 오늘은 tensorflow.keras에서 제공하는 text 전처리에 대해 알아 보고자 한다. 자연어 처리에 대한 전반적인 내용을 알려면 아래의 블로그를 참고하자. han-py.tistory.com/281 tf.keras.preprocessing.text 종류 tf.keras.preprocessing.text의 종류는 hashing_trick, one_hot, text_to_word_sequence, Tokenizer으로 크게 4가지가 있다. 필요한 전처리에 맞게..

tensorflow로 모델 만들기 0. 들어가면서 우리는 전 단계에서 모델을 구성하는 layers에 대해 알아 보았다. 관련 내용은 아래의 링크를 따라가 보자. han-py.tistory.com/269 [tensorflow] 자연어처리(NLP) 1. 기초다지기(layers) 0. 들어가면서 자연어처리, 즉 글자를 컴퓨터가 이해할 수 있게 만드는 것이다. CNN과 RNN의 차이도 모르고, 단 한번도 구현해 본 적이 없다면, 이곳은 오아시스 같은 해결책을 줄 수 있을 것이다. han-py.tistory.com 이제는 layer로 구성된 model을 만들어 보자. 1. tensorflow 2.0 나도 처음에 자연어처리 관련 구글링을 해서 tensorflow관련 코드를 찾아서 colab에서 진행해보면 안되는 경..

0. 들어가면서 합성곱 신경망(CNN)인 Convolution Neural Network의 기본 연산중 하나인 Pooling 연산에 대해 알아보자. 아래의 블로그를 통해 Convolution 연산에 대해 알아 보고 동작 원리도 알아 보았다. han-py.tistory.com/230 han-py.tistory.com/231 정리하면 Convolution 연산 후에 Activation Function(ReLU)를 활용해 -1를 0으로 바꿔주는 것 까지 알아 보았다. 이렇게 Convolution layer 하나를 구성한 이 후에 출력값(output feature)을 이용해서 다시 Convolution layer를 하나 구성해서 입력으로 넣어 주거나 Pooling layer를 넣어서 Pooling layer에 ..

0. 들어가면서(VGG16 모델) backbone으로 가장 많이 사용된다. 2014년에 ILSVRC에서 2등 한 모델이다. 1등은 구글에서 했지만, 더 많이 사용한다. 특이한 것이 없는 일반적인 CNN이다. CNN과 동일하게 convolution layer와 max pooling later가 있다. 21개의 layer를 갖고 weight 는 1억 4천 개 pooling 레이어를 제외하고 모두 16개의 레이어가 있다. 1. 코드 1-1. 데이터 받아 저장하기 기본적으로 colab을 사용한다. !rm -rf imagenet !mkdir imagenet # 버섯 !wget -O imagenet/mushroom1.jpg http://farm4.static.flickr.com/3023/2822584107_1861..

0, 들어가면서 손실 함수란 신경망이 학습 시 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 하는지를 알 수 있는 지표이다. 즉, 손실함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾아야 한다. 어떻게 찾는지 알아보자. 1. 데이터 학습 머신러닝에서 가장 중요한 것은 무엇일까? 바로 데이터다. 데이터를 통해 패턴을 찾고 그 패턴을 통해 특징을 추출한다. 특징이란 데이터 중에 본질적이고 중요한 데이터를 선별하는 것이고, 선별된 특징으로 패턴을 머신러닝(기계학습)하는 것이다. 이때 이미지의 특징은 보통 벡터로 표현되는데, 컴퓨터 비전 분야에서는 SIFT, SURF, HOG 등의 특징을 사용한다. 이런 특징을 사용하여 이미지 데이터를 벡터로 변환하다. 변환 후에는 지도학습의 대표 분류법인..

저는 파이썬을 조금 했고 처음시작하고 있습니다. 공식문서를 통해 공부하면서 처음보시는 분들도 이해할 수 있게 구글링을 통해 찾아가면서 코드를 하나씩 하나씩 풀이 해 놓겠습니다. 완벽하기 보다는 흐름따라서 쭉 읽으시면 됩니다. 참고 홈페이지는 https://www.tensorflow.org/tutorials/keras/classification?hl=ko 첫 번째 신경망 훈련하기: 기초적인 분류 문제 | TensorFlow 코어 Note: 이 문서는 텐서플로 커뮤니티에서 번역했습니다. 커뮤니티 번역 활동의 특성상 정확한 번역과 최신 내용을 반영하기 위해 노력함에도 불구하고 공식 영문 문서의 내용과 일치하지 않을 수 www.tensorflow.org 이미지를 분류하는 신경망 모델에 대해 알아보자. 쭉 읽어보..