반응형 web scraping2 [Web scraping]멜론 TOP100 차트(1/2) 오늘은 멜론 TOP100 차트를 이용해서 아래와 같은 웹스크랩핑(Web scraping)을 해보려고 한다. ## Melon100 Chart * 100곡의 노래의 제목과 SongID 추출해서 list에 저장하기 * 100곡 노래의 상세정보를 추출해서 list와 dict에 저장해서 json 파일로 저장하기 * json 파일을 load하여 Pandas의 DataFrame에 저장하기 * DataFrame 객체를 DB의 Table에 저장하기 Melon top100 차트에 연결하기 url = 'https://www.melon.com/chart/index.htm' req_header_dict = { # 요청헤더 : 브라우저정보 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64.. 2022. 2. 8. 웹 스크랩핑 - 준비과정 오늘은 네이버 뉴스의 카테고리별 페이지별 기사 제목을 불러오는 작업을 해보려고 한다. 정치 경제 사회 생활/문화 IT/과학 등과 같은 페이지를 각각 선택하고 페이지 내에 기사 제목을 불러오는 작업을 하기 위해서는 우선 Web에 대해 이해를 해야 한다. Web의 이해 HTTP - Hyper Text Transfer Protocol - 서버와 클라이언트 사이에서 정보를 주고받기 위한 규약 - 시작 줄, 헤더(Header), 본문(Body)으로 이루어져 있음 - 9개의 메서드가 존재하지만 주로 GET과 POST만 쓰인다. ▶ GET ▶ POST HTTP Client 모듈 - python urllib Python built-in module 간편하게 HTTP request를 보낼 수 있음 로그인 및 세션을 유지.. 2022. 1. 28. 이전 1 다음 반응형
