AI Platform / Web

0. 들어가면서 re은 파이썬 정규 표현식(Regular Expression)의 라이브러리다. 따라서 내장 라이브러리로 별다른 설치 없이 바로 사용 가능하다. re은 문자열을 쉽게 다룰 수 있기 때문에 문자열 데이터를 다루는 자연어 처리 분야에서 많이 사용된다. 당연하게도 전처리 과정에서 많이 사용한다. 아래의 블로그는 최소한의 간단한 예를 적은 것이다. 좀 더 자세한 설명과 많은 예제를 찾기 위해서는 아래의 정규식을 눌러보자. 정규식이란(Regular Expression), 1. 정규 표현식(Regular Expression) re을 들어가기 전에 기본적으로 파이썬 정규 표현식에서 사용하는 문자나 기호에 대해 알아보자. . 줄 바꿈을 제외한 모든 문자 ^ 문자열의 시작 $ 문자열의 끝 * 앞에 있는 문..

0. 들어가면서 판다스(Pandas)는 파이썬 라이브러리 중 하나로 편리하게 데이터 구조와 데이터 분석 기능을 제공한다. 따라서 데이터를 다룬다면 반드시 알아둬야 한다. 여기서는 자연어처리(NLP)를 하기위한 최소한의 Pandas의 기초를 알아보자. 1. 설치하기 설치는 간단하다. 아래와 같은 명령어를 치면 된다. # 아나콘다 $ conda install pandas # colab $ pip install pandas import 하는 법도 간단하다. import pandas as pd 2. 판다스(Pandas) 판다스로 사용가능한 데이터 구조는 시리즈(Series), 데이터프레임(DataFrame), 패널(Panel) 이렇게 세 가지 데이터 구조를 사용할 수 있다. 이 세 가지 데이터 구조의 다장 큰 ..

0. 들어가면서 우리는 앞에서 버튼을 누르면 get요청으로 데이터를 불러와서 보여는 방식을 구현해 보았다. 가능하면 아래의 링크를 보고 오는 것을 추천한다. han-py.tistory.com/273 [Vue.js] 2. 데이터 받기(get) 0. 들어가면서 우리는 앞에서 Vue를 설치하고 실행하는 방법과 Vue에 사용되는 문법에 대해 알아보았다. 궁금하면 아래의 주소를 따라가면 된다. 이제 배운내용을 바탕으로 적용을 해보자. han-py.ti han-py.tistory.com 1. lifecycle hook 지금까지 Vue에 관한 코드를 작성하였다면 지금부터는 개념 이해를 해보자. 앞에서 구현한 것은 첫 페이지에는 아무것도 없고 버튼을 눌러야 data가 생긴다. 그렇다면, 누르지 않고 처음 페이지를 들어..

0. 들어가면서 사이킷런(scikit-learn)은 파이썬용 머신러닝 라이브러리이다. 딥러닝 모델은 텐서플로 등을 이용하여 생성할 수 있는 것과 같이 머신러닝 모델은 주로 사이킷런 라이브러리를 통해 만들 수 있다. 우리는 코드를 작성하기 위한 필수적인 부분만 요약하고 선별해서 배워볼 것이다. 1. 설치 기본적으로 사이킷런을 사용하기 위해서는 넘파이(Numpy)와 사이파이(Scipy)를 필수적으로 설치해야 한다. 물론 아나콘다에서 아래와 같이 설치하면 넘파이와 사이파이가 자동으로 설치된다. $ conda install scikit-learn 만약 colab에서 한다면 아래와 같이 shell에 넣으면 된다. $ pip install sklearn 그리고 import는 아래와 같이 한다. import skle..

0. 들어가면서 우리는 앞에서 Vue를 설치하고 실행하는 방법과 Vue에 사용되는 문법에 대해 알아보았다. 궁금하면 아래의 주소를 따라가면 된다. 이제 배운 내용을 바탕으로 적용을 해보자. han-py.tistory.com/66 [Vue.js] 1. 시작하기 0. 들어가면서 Vue를 처음 배우는 사람이라면 바로 이곳에서 시작해 보길 바란다. 전반적인 개념과 시작하는 방법이 적혀있다. 자바스크립트를 모르더라도 어느정도 구현할 수 있도록 노력했다. han-py.tistory.com Vue는 frontend다. 따라서 frontend인 뷰를 사용하기위해, 서버를 만들어서 데이터를 보내고 하기에는 시간이 너무 많이 든다. 그래서 일단 더미 데이터를 get방식으로 받아서 실습을 해볼까 한다. 더미 데이터(=가짜 ..

모델구조 이해하기 텐서플로 2.0 버전에서 케라스를 이용해 모델을 구현하는 방법을 알아보자. 전반적인 자연어처리에 대해 알려면 아래의 블로그를 참고하자' han-py.tistory.com/281 구현 순서 전처리 => 모델만들기 => 학습하기 1.단계 전처리하기 컴퓨터는 한국어를 이해할 수 없습니다. 그래서 Deep learning을 하기 위해 한국어를 컴퓨터가 이해할 수 있게 Vector로 변환하는 과정이 필요합니다. 이를 우리는 전처리라고 하고, 입력값을 임베딩된 벡터로 변형한다라고도 합니다. 활용할 구조 : 심층 신경망(Deep Neural Network) 구조 구현할 모델 : 긍정/부정을 예측하는 감정 분석(Sentiment Analysis) 시작해 볼까요? 다음의 전처리 코드를 한 줄씩 이해해 ..

[tensorflow] preprocessing(전처리) 하기 0. 들어가면서 TensorFlow로 입력값을 모델에 넣기 위해서는 딥러닝 모델이 처리 있도록 전처리라는 과정을 거쳐 숫자로 입력값을 넣어야한다. 전처리의 종류에는 여러가지가 있지만, 오늘은 tensorflow.keras에서 제공하는 text 전처리에 대해 알아 보고자 한다. 자연어 처리에 대한 전반적인 내용을 알려면 아래의 블로그를 참고하자. han-py.tistory.com/281 tf.keras.preprocessing.text 종류 tf.keras.preprocessing.text의 종류는 hashing_trick, one_hot, text_to_word_sequence, Tokenizer으로 크게 4가지가 있다. 필요한 전처리에 맞게..

0. 들어가면서 Vue를 처음 배우는 사람이라면 바로 이곳에서 시작해 보길 바란다. 전반적인 개념과 시작하는 방법이 적혀있다. 자바스크립트를 모르더라도 어느정도 구현할 수 있도록 노력했다. 일단 frontend와 backend의 차이를 모르는 사람도 있을 것이다. 매우 쉽게 설명을 하자면, frontend는 컴퓨터의 모니터 부분이라고 생각을 하고, backend부분은 컴퓨터의 본채라고 생각하면 된다. 즉, frontend부분은 사용자가 실제로 볼 수 있는 부분이고, 다른 DB처리라던가 복잡한 알고리즘은 backend에서 한다고 생각하면 된다. 우리가 배울 Vue는 바로 frontend 부분이라고 생각하면 된다. 여기서는 Vue의 기초를 다룬다. Vue Cli로 바로 알고 싶다면 아래의 링크를 클릭하자. ..