AI Platform / Web

변동 통계량이란 데이터의 변동성을 나타내는 수치를 의미한다. 따라서 데이터 변동 통계량이란 데이터의 변동성을 나타내는 수치를 의미한다. 기본적인 통계량은 아래의 링크를 참고하자. 2021.03.26 - [데이터분석] - 기초 통계 정리_중심 통계량 변동 통계량 데이터의 변동성을 나타내는 수치로 데이터 분석의 기초이다. 따라서 헷갈리는 개념이 있다면 이해하고 넘어가자. 기본적으로 분산과 표준편차가 클 수록 넓게 퍼져있다는 것을 알 수 있다. 고등수학의 개념이므로 간단히 넘어가겠다. 범위(Range): 최대값과 최솟값의 차이 편차(Deviation): 관측값과 평균의 차이 변동(Variation): 편차 제곱의 합 분산(Variance): 편차 제곱의 합을 데이터의 수로 나눈 값 표준편차(Standard D..

sql에 대한 대략적인 개념을 익혔으니 명령어 위주로 정리를 해보고자 한다. 개념은 아래의 링크를 통해서 확인하자. 2020.12.11 - [전산학/데이터베이스(DATABASE)] - MySQL_설치 기초 2020.12.13 - [전산학/데이터베이스(DATABASE)] - MySQL_기초 정리 기본적으로 SQL의 특징은 크게 3가지로 나뉜다. SQL 문 끝에는 항상 세미콜론을 써준다. 그리고 SQL은 공백이나 개행이 자유롭기 때문에 띄어쓰기든 탭이든 엔터든 모두 같은 한칸 띄어쓰기로 판단한다. 마지막으로는 대소문자는 자유롭다. 그러나 가독성을 위해 예약어는 대문자로 적어주는 것이 관례임을 참고하자. 굵은 색의 명령어를 본 후에 무슨내용인지 생각을 하자. 그 후에 아래의 설명을 확인하자. 전체 글을 다 읽..

데이터 분석의 가장 기초는 통계라고 할 수 있다. 오늘은 데이터 관점에서 중심 통계량, 변동 통계량, 형태 통계량, 관계 통계량에 대한 기초를 각각 알아보자. 중심 통계량 중심 통계량은 데이터의 중심경향을 나타내는 수치이다. 보통 데이터에서 결측치가 있는 경우에 데이터의 특징에 맞게 아래의 값중 골라서 NaN값 대신에 대체를 한다. 평균(Average) 표본데이터의 중심무게(산술평균, 기하평균, 조화평균, 가중평균)로 표현 할 수 있다. 산술 평균 우리가 보통 알고 있는 평균이라고 할 수 있다. 각각의 수를 모두 더한 후에 갯수로 나눠주는 것이다. 식을 보면 아래와 같다. 기하 평균 산술 평균과 다르게 값들을 모두 곱한 후에 갯수로 루트를 취한다. 조화 평균 각각의 값들의 역수에 대한 산술 평균의 역수라..

kaggle에 대해 간단히 알아보고 kaggle에서 데이터를 받는 여러가지 방법에 대해 알아보자. 데이터를 제공해 주는 여러 사이트가 많다. 그 중 구글이 인수한 이후에 kaggle이 탄탄한 회사가 되고 있다고 말할 수 있다. www.kaggle.com/ Kaggle: Your Machine Learning and Data Science Community Kaggle is the world’s largest data science community with powerful tools and resources to help you achieve your data science goals. www.kaggle.com 위의 주소가 캐글이다. 캐글 안에서는 주어진 대회로 각자가 기획한 모델을 통해 점수를 받고 ..

사실 비전공자인 필자는 처음 CNN을 처음 배울 때, CNN이 무슨 말인지 하나도 몰랐다. 그래서 그때를 생각하며 최대한 이해가 쉽도록 글을 적어보겠다. 일단 신경망에 대한 기초는 알고 있다고 판단하고 글을 적겠다. 만약 시간이 없다면, 최소한 input_layer, hidden_layer, output_layer에 대한 개념을 알아보고 계속 글을 읽자. 기본적으로 CNN은 image를 분류하기 위한 개발된 Network이다. 따라서 image에 최적화 되어 있다는 점을 인지하자. 그리고 image는 픽셀로 되어 있다. 픽셀의 색을 컴퓨터가 이해할 수 있도록 숫자로 변경을 한 후에 신경망을 통해 계산을 하는 것이다. 그렇다면, 딥러닝인 CNN이전의 머신러닝 시절에는 image를 어떻게 분류를 했을까? 딥..

> 데이터를 모델에 집어넣기 전에 데이터 사이즈를 맞춰줘야 한다. 기본적으로 tensorflow에서 제공하는 MNIST 예제를 통해 데이터 size를 변경하는 법을 알아보자. 1. 데이터 불러오기 데이터 사이즈 변경을 위한 블로그이기 때문에 코드만 간단히 적어보겠다. import tensorflow as tf from tensorflow.keras import datasets mnist = datasets.mnist (train_x, train_y), (test_x, test_y) = mnist.load_data() print(train_x.shape) ''' (6000, 28, 28) ''' train_x.shape 로 결과 값을 보면, 6000개의 데이터가 (28, 28)로 가로 픽셀이 지정되어 있는..

아래의 내용은 파이썬 알고리즘 인터뷰 책을 참고하여 작성하였다. 이전 내용은 아래의 링크를 참고하자 문자열 유형 기초 정리_1 유형 4. 특정 단어 추출 > 이 유형은 NLP에서도 자주 사용되는 스킬이다. paragraph = "Bob hit a ball, the hit BALL flew far after it was hit" 위의 예제에서 "hit"을 제외한 단어 중 가장 많이 등장하는 단어를 뽑는 코드를 작성하자. 대소문자는 구분하지 않고 구두점은 무시한다. 1단계 정규식을 사용해서 불필요한 구두점을 지우자 import re re.sub('[^\w]', ' ', paragraph) [^\w] 은 모든 문자와 숫자를 제외하고는 공백으로 바꾼다. 2단계 정규식에 추가적으로 처리를 해보자. banned =..

python의 꽃. DFS의 필수 개념인 재귀 함수에 대해 알아보자. 왜 재귀 함수를 알아야 할까? 미로 찾기 문제를 생각해보자. 미로를 찾기 하기 위해서는 매 순간 갈림길에서 선택을 해야 하는 순간이 생긴다. 갈림길에서 한 선택의 결과가 막힌 길이라면, 그 즉시 갈림길이 있었던 위치로 순간 이동하는 것을 가능하게 해주는 것이 재귀 함수다. 0. 기본 모양 재귀 함수란 호출한 함수 안에서 그 함수를 다시 호출(recursive call)함으로 반복하는 것을 의미한다. 쉽게 말하면 def를 통해 함수를 만든다. 그리고 만든 함수 안에서 다시 그 함수를 호출하는 것을 의미한다. 아래의 예를 참고하자. def recursive_call(x): print(x) recursive_call(x+1) recursiv..