AI Platform / Web

random은 자주 쓰이긴 하지만, 딱히 기억이 잘 나지 않는다. 그래서 따로 정리해 두려고 한다. 기본적으로 아래와 같이 numpy를 불러오자. import numpy as np 기본적으로 Random sampling을 하기위해서는 무작위로 숫자를 뽑기보단 정규분포나 균등분포에 해당하는 값을 자주 뽑아서 사용한다. 그래서 우선 정규분포와 균등분포의 랜덤값을 뽑는 방식을 사용해 보자. 균등분포(random.uniform) 균등분포란 분포가 특정 범위 내에서 균등하게 나타나 있을 경우이다. 코드는 아래와 같다. x = np.random.uniform(0, 1, 100) x.mean() # 0.4603131627939298 plt.plot(x) plt.show() 인자는 최소값, 최대값, 개수 순서로 넣어주..

urllib 파이썬에서는 웹과 관련된 데이터를 쉽게 다룰 수 있도록 urllib모듈을 제공한다. python2 버전에서의 urlparse가 python3에서는 urllib.parse로 변경됐다. docs.python.org/3/library/urllib.html#module-urllib urllib — URL handling modules — Python 3.9.1 documentation docs.python.org 위의 내용이 공식문서이다. 아래의 내용은 자주 사용하는 내용위주로 정리해 보겠다. 공식문서에서 볼 수 있듯, urllib은 모듈을 핸들링하는 URL이라고 적혀있다. urllib의 모듈에는 urllib.request, urllib.error, urllib.parse, urllib.robotp..

우리는 파이썬의 딕셔너리를 엑셀파일로 만들기위해 판다스를 활용할 것이다. 판다스 기초는 여기를 눌러서 확인해보자. exel 파일로 저장할 때는 to_excel() 메서드를 적용한다. 아나콘다에서는 openpyxl 라이브러리가 사전에 설치되서 바로 사용하면 되지만, 만약 to_excel()이 안된다면, 아래와 같이 파이썬 라이브러리를 설치하자. $ pip install openpyxl 이제 코드를 작성해 보자. import pandas as pd data = {'name' : [ 'Jerry', 'Riah'], 'algol' : [ "A", "A+"], 'basic' : [ "C", "B"] } df = pd.DataFrame(data) df.set_index('name', inplace=True) #na..

우리는 구글 지오코딩 API를 활용해서 장소(ex_'강남', '해운대해수욕장', 황상동)를 보내면 위도와 경도를 받는 코드를 만들어 보자. 기본적으로 구글 클라우드를 가입한다. 그리고 프로젝트를 생성 후에 인증키를 받아둔다. 이 부분은 여기를 보고 오자. 여러 구글링을 통해 위의 단계를 마쳤다면 이제 아래의 방법을 따라오자. 우리는 구글 클라우드 플랫폼을 이용하여 간단히 장소를 적으면 위도, 경도를 받는 프로그램을 만들어 볼 것이다. 물론 ip로 받는 방법도 있다. ip로 위도와 경도를 아는 방법은 아래의 url을 참고하자. han-py.tistory.com/235 python_ip를 통해 사용자 위치 파악하기 0. 들어가면서 빠르게 개발해야하는 개발자들을 위해 개념 설명없이 간단하게 핵심만 담았다. 방..

판다스의 read_html() 함수는 HTML 웹 페이지에 있는 태그에서 표 형식의 데이터를 모두 찾아서 데이터프레임으로 변환한다. 그리고 각각의 표를 원소로 가지는 리스트가 반환된다. 아래의 html이 있다고 하자. 코드를 보면 아래와 같다. c0 c1 c2 c3 0 0 1 4 7 1 1 2 5 8 2 2 3 6 9 name year developer opensource NumPy 2006 Travis Oliphant True matplotlib 2003 John D. Hunter True pandas 2008 Wes Mckinneye True html에 대한 자세한 설명은 생략하겠다. 관련 내용은 여기를 클릭하자. 그렇다면 이제 불러서 확인을 해보자. # html_file.html로 저장된 문서를 임..

JSON 파일은 데이터 공유를 목적으로 개발된 특수한 파일 형식이다. 파이썬 딕셔너리와 비슷하게 'key:value' 구조를 갖는다. 예제는 다음과 같다. 기본적인 파이썬의 json 라이브러리를 사용하는 방식은 여기를 눌러서 확인하자. 우리는 판다스로 json을 데이터 프레임으로 바꿀 것이다. 다음의 json 내용이 있다고 가정해 보자. # json_file.json 파일 내용 { "name":{"pandas":"", "NumPy":"", "matplotlib":""}, "year":{"pandas":2008, "NumPy":2006, "matplotlib":2003}, "developer":{"pandas":"Wes Mckinneye", "NumPy":"Travis Oliphant", "matplotl..

Excel 파일(.xlsx)의 행과 열은 데이터프레임의 행과 열로 일대일 대응된다. CSV 파일 열기와 마찬가지로 header, index_col 등의 대부분 옵션은 사용 할 수 있고 read_csv() 함수를 사용하여 연다. 불러올 엑셀 데이터는 아래와 같다고 가정해 보자. 전력량 전력별 2020 2021 2022 2033 남한 수력 63 24 52 45 화력 645 456 655 456 북한 수력 34 55 34 52 화력 152 123 166 122 # 발전량.xlsx를 불러온다. import pandas as pd # df1 = pd.read_excel('./발전량.xlsx') #output 전력량전력별 2020 2021 2022 2033 0 남한 수력 63 24 52 45 1 NaN 화력645 ..

판다스는 다양한 형태의 외부 파일을 읽어와서 데이터프레임으로 변환하는 함수를 제공한다. csv json xlsx등 다양한 파일 확장자를 판다스로 열 수 있다. 판다스의 기초는 아래와 같다. 2021/01/10 - [인공지능(Artificial Intelligence)/python] - [pandas] 판다스 기초 한번에 정리 CSV 파일 데이터 값을 쉼표(,)로 구분하고 있다는 의미로 CSV(comma-separated values)라고 부르는 텍스트 파일이다. 기본적으로 쉼표(,)로 열을 구분하고 줄 바꿈으로 행을 구분한다. 사용법은 판다스 read_csv() 함수에 확장자(.csv)를 포함하여 파일 결로를 입력하면 CSV 파일을 읽어봐서 데이터프레임으로 변환한다. 인덱스를 지정하는 옵션에는 heade..