AI Platform / Web

tensorflow로 모델 만들기 0. 들어가면서 우리는 전 단계에서 모델을 구성하는 layers에 대해 알아 보았다. 관련 내용은 아래의 링크를 따라가 보자. han-py.tistory.com/269 [tensorflow] 자연어처리(NLP) 1. 기초다지기(layers) 0. 들어가면서 자연어처리, 즉 글자를 컴퓨터가 이해할 수 있게 만드는 것이다. CNN과 RNN의 차이도 모르고, 단 한번도 구현해 본 적이 없다면, 이곳은 오아시스 같은 해결책을 줄 수 있을 것이다. han-py.tistory.com 이제는 layer로 구성된 model을 만들어 보자. 1. tensorflow 2.0 나도 처음에 자연어처리 관련 구글링을 해서 tensorflow관련 코드를 찾아서 colab에서 진행해보면 안되는 경..

0. 들어가면서 자연어처리, 즉 글자를 컴퓨터가 이해할 수 있게 만드는 것이다. CNN과 RNN의 차이도 모르고, 단 한번도 구현해 본 적이 없다면, 이곳은 오아시스 같은 해결책을 줄 수 있을 것이다. 시작해보자. 혹시나 텐서플로의 기초가 아닌 자연어 처리에 대한 전반적인 적용 알고리즘에 대해 알고 싶다면, 아래의 링크를 들어가 보자. han-py.tistory.com/249?category=942088 자연어처리 발전흐름(RNN에서 BERT) 1. RNN (Recurrent Neural Network) RNN이 왜나왔을까? 기존 신경망은 연속적인 시퀀스를 처리하기 어렵다. 따라서 입력의 순서가 중요한 분야인 자연어 처리, 음성인식, 주식, 날씨, 음악 같은 부분에서 한 han-py.tistory.com..

0. 들어가면서 실제로 우리가 버트 모델을 훈련하기 위해서는 많은 데이터와 시간이 필요하다. 그러나 기존에 구글에서 공개한 버트 모델을 활용하면 쉽게 한글 데이터를 분석할 수 있다. 구글에서 공개한 버트 모델은 학습한 데이터에 따라 여러 형태로 공개가 되어 있지만, 대부분은 영어를 위한 모델이다. 우리는 한글 데이터를 활용한 버트를 활용할 것이기 때문에 다국어 지원을 위한 버트 모델을 활용할 예정이다. 버트를 활용한 실습을 진행해 볼까 한다. 가장 기초가 되는 영어 데이터를 시작으로 한글 텍스트 데이터를 버트를 활용하며 문장 분류, 자연어 추론, 개체명 인식, 텍스트 유사도, 기계 독해 등을 해결해 보자. 사실 버트 자체를 사용한다는 말은, 버트를 구현한다는 말은 아니다. 즉, 사전 훈련이 되어있는 모델..

0. 들어가면서 우선 신경망에 대한 기초도 모른다면 아래의 블러그를 참고하고 다시오자. han-py.tistory.com/195 케라스의 전형적인 작업 흐름은 다음과 같다. 입력 텐서와 타깃 텐서로 이루어진 훈련 데이터를 정의하자. 입력과 타깃을 매핑하는 층으로 이루어진 모델(네트워크)를 정의하자. 손실 함수, 옵티마이저, 모니터링하기 위한 측정 지표를 선택하고 학습하자. 훈련 데이터에 대해 모델의 fit() 메서드를 반복적으로 호출하자. 1. 모델 정의방법 모델을 정의하는 방법은 두 가지로 Sequential 클래스와 함수형 API를 사용한다. Sequential 클래서 : 구조인 층을 순서대로 쌓아 올린 네트워크로 가장 자주 사용한다. 함수형 API : 비순환 유향 그래프로 완전하게 임의의 구조를 만..

0. logit, sigmoid, softmax 본격적인 솔실함수를 보기 전에 logit, sigmoid, softmax에 대해 알아보자. 0.1 sigmoid함수 sigmoid 함수는 인공신경망에서 ReLU가 등장하기 이전에활발하게 사용되었던 activation function(활성화함수)이고, hiddin 노드 바로 뒤에 부착된다. 클래스가 2개이다. Sigmoid 함수는 모든 실수 입력 값을 0보다 크고 1보다 작은 미분 가능한 수로 변환한다. 그리고 미분결과가 간결하고 쉬워 초기에 많이 사용되었다. 0.2 softmax함수 softmax함수는 인공신경망에서 출력된 K개의 클래스 구분 결과를 확률처럼 해석하도록 만들어준다. 따라서 보통은 output 노두 바로 뒤에 부착된다. 코드 사용 시, sig..

0. 신경망은 무엇인가? 딥러닝이란 용어는 신경망을 학습시키는 것을 뜻한다. 신경망은 뉴런의 집합이다. 다시말하면, 입력(x)와 출력(y)를 매칭하여 함수를 찾는 과정이 딥러닝이고, 각각 하나의 입력과 출력을 매칭하는 것이 뉴런이다. 좀 더 들어가 보면, 여러개의 각기 다른 정보를 주면, 이러한 입력 특성을 가지고 신경망은 출력을 예측하는 것이다.따라서 충분한 양의 입력과 출력 정보를 주면, 신경망은 입출력을 연결하는 함수를 알아내는데 더욱 뛰어날 것이다. + 해당 뉴런에 관계없는 입력값이라도 입력으로 넣어주어야 한다. 관계 여부는 신경망이 학습하면서 알아서 조절해 준다. 신경망의 구조를 간단히 보면, 입력 데이터가 레이어에 들어가서 레이어에 있는 가중치를 토대로 결과값을 예측을 한다. 그리고 예측값과 ..

0. 들어가면서 대부분 신경망이 원본을 입력르로 사용하지 못하는 것 처럼 텍스트도 텍스트 자체를 입력으로 사용할 수 없다. 딥러닝 모델은 수치형 텐서로만 다룰 수있다. 텍스트를 수치형 텐서로 변환하는 과정을 텍스트 벡터화(vectorizing text)라고 한다. 1. vectorizing text 텍스트 벡터화 하는 방법에는 크게 아래와 같이 3가지가 있다. 텍스트 => 단어 => 벡터 텍스트 => 문자 => 벡터 텍스트 => 단어나 문자의 n-그램 (연속된 단어나 문자를 하나씩 이동하면서 추출) => 벡터 위의 예를 보면 텍스트를 나누는 단위에는 단어, 문자, n-그램이 있음을 알 수 있다. 이런 단위(단어, 문자, n-그램)를 토큰이라 한다. 그리고 텍스트를 토큰으로 나누는 작업도 토큰화(token..

RESTful API 0. 들어가면서 아래의 공식문서를 짧게 정리했다. docs.microsoft.com/ko-kr/azure/architecture/best-practices/api-design API 디자인 지침 - Best practices for cloud applications 웹 응용 프로그램은 클라이언트가 응용 프로그램과 상호 작용할 수 있도록 Api를 노출할 수 있습니다. 잘 설계 된 웹 Api는 플랫폼 독립성 및 서비스 발전을 지원 해야 합니다. docs.microsoft.com 잘 디자인된 웹 API 플랫폼이 독립적이어야 한다. 모든 사용자는 내부 API 방법과 상관없이 API를 호출할 수 있어야한다. 그러기 위해서는 표준 프로토콜을 사용해야한다. 그리고 웹 API는 사용자 애플리케이션..