반응형 [python]데이터 분석11 [데이터 분석] 행정구역 정보를 읽고, 분석하기(2/2) [1]. 상관계수 (crrelation) * 인구수와 면적간에 관련성이 있는지 살펴보기 위해서 상관계수를 구하기 * 상관계수 값음 -1 ~ 1 사이의 값으로 , -1에 가까우면 음에 비례, 1에 가까우면 양의 비례(관련성이높다), 0에 가까울수록 상관x * 음수는 반비례, 양수는 비례 * corr()함수사용 corr() 함수 사용 data['면적'].corr(data['인구수']) -0.3460351605045771 서울특별시의 면적과 인구수의 상관계수 구하기 seoul_df = data.loc[data['광역시도'] == '서울특별시'] seoul_df['면적'].corr(seoul_df['인구수']) 0.664426818890978 [2]. Group By 기능 * 광역시도별 인구수의 합계 * ~별에.. 2022. 2. 12. [데이터 분석] 행정구역 정보를 읽고, 분석하기(1/2) 오늘은 위의 첨부한 파일을 갖고 정보를 읽고, 분석하는 작업을 해보겠다. 작업 순서는 아래와 같다. 제목 [행정구역 정보를 읽고, 분석하기] 목차 1. read_csv()함수로 csv file 읽어오기 2. 특정행과 열을 선택하기 3. 컬럼명변경 4. 상관관계 분석 (인구수와 면적간의 상관관계) 5. 시각화 [1]. 데이터 읽어오기 import pandas as pd data = pd.read_csv('data_draw_korea.csv') #print(data) data.sample(3) Unnamed: 0인구수shortNamexy면적광역시도행정구역 171739668횡성105997.82강원도횡성군 115115292375부산북구91638.30부산광역시북구 106106321618대전유성413177.16대전.. 2022. 2. 11. Pandas(판다스)란? 판다 스란 Pandas는 쉽고 직관적인 관계형 또는 분류된 데이터로 작업할 수 있도록 설계된 빠르고 유연하며 표현이 풍부한 데이터 구조를 제공하는 Python 패키지이다. 적합한 사용용도 SQL 테이블 또는 Excel 스프레드 시트에서와 같이 이질적으로 유형이 지정된 열이 있는 데이블 형식 데이터 정렬되고 정렬되지 않은 시계열 데이터 행 및 열 레이블이 포함된 임의의 행렬 데이터 다른 형태의 관찰 / 통계 데이터 세트 Pandas import 하기 & 시각화를 위한 matplotlib import 하기 import pandas as pd import numpy as np import matplotlib.pyplot as plt [1].데이터 오브젝트 생성하기 데이터 오브젝트는 ‘데이터를 담고 있는 그릇’.. 2022. 2. 11. BeautifulSoup SELECT 사용법 BeautifulSoup 간단 사용법 BeautifulSoup 패키지 설치 pip install bs4 사용법 from bs4 import BeautifulSoup html = """test data """ soup = BeautifulSoup(html, 'html.parser') print(soup.select_one('body').text) SELECT(), SELECT_ONE() 설명 태그이름 태그이름으로 찾음 .클래스이름' 클래스이름으로 찾음 #아이디이름' 아이디이름으로 찾음 (아이디는 연속X) 상위태그이름>자식태그>자식태그' 부모 자식간의 태그 조회' >' 로 구분 상위태그이름 자손태그' 부모 자손간의 태그 조회 #띄어쓰기(공백) 로 구분 #자식을 건너 띈다. [속성]' 태그 안의 속성을 찾음 .. 2022. 2. 11. [Web scraping]멜론 TOP100 차트(2/2) 지난 시간에는 멜론 TOP 100 차트 페이지에서 1위부터 100위까지의 곡명, 가수, 앨범, 발매일, 장르 등 상세 정보를 가져와 리스트화 까지 끝냈다. 오늘은 만들어낸 리스트를 JSON파일로 만들어서 아래의 작업을 해보려고 한다. 1. json 파일을 load 하여 Pandas의 DataFrame에 저장하기 2. DataFrame 객체를 DB의 Table에 저장하기 먼저 JSON 파일로 저장해보자 import json #with open(파일명,쓰기모드,인코딩) as file: with open('data/songs.json','w',encoding='utf-8') as file: json.dump(song_detail_list, file) EX) with open json.dump() import .. 2022. 2. 9. [Web scraping]멜론 TOP100 차트(1/2) 오늘은 멜론 TOP100 차트를 이용해서 아래와 같은 웹스크랩핑(Web scraping)을 해보려고 한다. ## Melon100 Chart * 100곡의 노래의 제목과 SongID 추출해서 list에 저장하기 * 100곡 노래의 상세정보를 추출해서 list와 dict에 저장해서 json 파일로 저장하기 * json 파일을 load하여 Pandas의 DataFrame에 저장하기 * DataFrame 객체를 DB의 Table에 저장하기 Melon top100 차트에 연결하기 url = 'https://www.melon.com/chart/index.htm' req_header_dict = { # 요청헤더 : 브라우저정보 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64.. 2022. 2. 8. [python]웹 크롤링 이해하기 크롤링이란 무엇일까? 크롤링(crawling) 혹은 스크랩핑(scraping)이란 웹페이지에 있는 데이터들을 프로그래밍적으로 추출하는 것을 뜻한다. 쉽게말해 각기다른 웹 페이지에서 내가 원하는 데이터 또는 필요한 데이터를 프로그맹적으로 추출하여 다시 활용가능한 형태로 만드는 것이다. *스크래핑 - 각각의 페이지에서 정보를 추출하는 행위 &*크롤러 - 자동으로 정보추출을 반복하는 프로그램 크롤링의 원리를 이해하기 위해서는 웹페이지의 구성을 알고 있으면 좋다. 구조를 잡는 HTML, 디자인을 하는 CSS, 사용자와 동적으로 상호작용하는 Javascript로 이루어져있다. 이전의 이라는 글에서 잠깐이나 Rest API에 대해 다루어 보았지만 한번 더 다루어보겠다. 위에서 웹 페이지(Web page)에 대해 알.. 2022. 1. 31. [python] 파파고 API를 이용한 간단한 번역기 만들기 이번에는 파파고 API를 이용해서 간단한 번역기를 만들어보려고 한다. 그렇기 위해서는 먼저 아래 사이트에서 파파고 API를 사용할 수 있는 권한을 얻어야한다. https://developers.naver.com/main/ NAVER Developers 네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음 developers.naver.com 가입후 Open API들 중에서 파파고 API 사용 신청을 하면 해당 API를 사용할 수 있는 요청 URL을 얻을 수 있다. 사용 과정에서 client_id 와 secret을 부여받는데 해당 API를 사용할때 꼭 필요.. 2022. 1. 30. 이전 1 2 다음 반응형
