본문 바로가기
반응형

분류 전체보기108

프로그래머스 Mysql - 입양 시각 구하기(2) 입양 시각 구하기(2) - 보호소에서는 몇 시에 입양이 가장 활발하게 일어나는지 알아보려 합니다. 0시부터 23시까지, 각 시간대별로 입양이 몇 건이나 발생했는지 조회하는 SQL문을 작성해주세요. 이때 결과는 시간대 순으로 정렬해야 합니다. -예시 코드 SET @hour := -1; #변수 선언 SELECT (@hour := @hour + 1) as HOUR, (SELECT COUNT(*) FROM ANIMAL_OUTS WHERE HOUR(DATETIME) = @hour) as COUNT FROM ANIMAL_OUTS WHERE @hour < 23 2022. 2. 2.
[python] 웹 크롤링 이해하기 크롤링이란 무엇일까?크롤링(crawling) 혹은 스크랩핑(scraping)이란 웹페이지에 있는 데이터들을 프로그래밍적으로 추출하는 것을 뜻한다.쉽게말해 각기다른 웹 페이지에서 내가 원하는 데이터 또는 필요한 데이터를 프로그맹적으로 추출하여 다시 활용가능한 형태로 만드는 것이다.*스크래핑 - 각각의 페이지에서 정보를 추출하는 행위&*크롤러 - 자동으로 정보추출을 반복하는 프로그램크롤링의 원리를 이해하기 위해서는 웹페이지의 구성을 알고 있으면 좋다. 구조를 잡는 HTML, 디자인을 하는 CSS, 사용자와 동적으로 상호작용하는 Javascript로 이루어져있다. 이전의 이라는 글에서 잠깐이나 Rest API에 대해 다루어 보았지만 한번 더 다루어보겠다. 위에서 웹 페이지(Web page)에 대해 알아 봤으니.. 2022. 1. 31.
[python] 파파고 API를 이용한 간단한 번역기 만들기 이번에는 파파고 API를 이용해서 간단한 번역기를 만들어보려고 한다. 그렇기 위해서는 먼저 아래 사이트에서 파파고 API를 사용할 수 있는 권한을 얻어야한다. https://developers.naver.com/main/ NAVER Developers 네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음 developers.naver.com 가입후 Open API들 중에서 파파고 API 사용 신청을 하면 해당 API를 사용할 수 있는 요청 URL을 얻을 수 있다. 사용 과정에서 client_id 와 secret을 부여받는데 해당 API를 사용할때 꼭 필요.. 2022. 1. 30.
[python] 기상청 RSS 데이터를 Json 파일로 저장하기 먼저 JSON과 YAML에 대해 알아보고 시작해보자JSON 이란?1. JSON이란 JavaScript Object Notation의 약자로 쉽게 말해 자바스크립트의 객체 표기법이다. 2. XML을 대체하여 많이 사용된다. 그 이유는 사람과 기계 모두 이해하기 쉬운 표현식이며 용량도 작은편이다.3. JSON은 단지 데이터를 표현하는 방법일뿐 언어 또는 프로그래밍 문법이 아니다. YAML 이란?1. YAML은 XML, C, 파이썬, 펄, RFC2822에서 정의된 e-mail 양식에서 개념을 얻어 만들어진 '사람이 쉽게 읽을 수 있는' 데이터 직렬화 양식이다.2. 즉 YAML은 모든 데이터를 리시트, 해쉬, 스칼라 데이터의 조합으로 적절히 표현할 수 있다. 기상청 홈페이지에서 RSS데이터 갖고오기https:/.. 2022. 1. 29.
네이버 뉴스 스크랩핑 하기 (news scraping) 1. 먼저 필요한 모듈들을 import 해준다. #%% import requests from bs4 import BeautifulSoup from urllib.parse import urljoin 2. 다음으로 스크랩핑을 원하는 페이지의 URL과 브라우저 정보를 파악하고 이를 통해 아래와 같이 불러온다. #%% url = 'https://news.naver.com/main/main.naver?mode=LSD&mid=shm&sid1=100' req_header_dict = { # 요청헤더 : 브라우저 정보 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692... 2022. 1. 28.
웹 스크랩핑 - 준비과정 오늘은 네이버 뉴스의 카테고리별 페이지별 기사 제목을 불러오는 작업을 해보려고 한다. 정치 경제 사회 생활/문화 IT/과학 등과 같은 페이지를 각각 선택하고 페이지 내에 기사 제목을 불러오는 작업을 하기 위해서는 우선 Web에 대해 이해를 해야 한다. Web의 이해 HTTP - Hyper Text Transfer Protocol - 서버와 클라이언트 사이에서 정보를 주고받기 위한 규약 - 시작 줄, 헤더(Header), 본문(Body)으로 이루어져 있음 - 9개의 메서드가 존재하지만 주로 GET과 POST만 쓰인다. ▶ GET ▶ POST HTTP Client 모듈 - python urllib Python built-in module 간편하게 HTTP request를 보낼 수 있음 로그인 및 세션을 유지.. 2022. 1. 28.
What is pythonic code style? 파이썬이라는 프로그래밍 언어를 배우며 느낀점이 있다. 바로 파이썬은 가독성이 뛰어나다는 것이다. 실제로 코드는 무언가를 구현하고 작동시키기 위해 읽혀져야한다. 때문에 우리가 생각 했던 것 이상으로 코드는 자주 읽힌다는 사실을 부정 할수 없다. 때문에 가독성 있게 코드를 짜는 것은 매우 중요하다고 볼 수 있다. 그럼 어떻게 하며 코드를 직관적이고 잘 읽히게 짤 수 있을까? 고민하던 중 아래의 제목을 가진 책을 찾을 수 있었다. The Hitchhiker's Guide to Python: Best Practices for Development 이 책에서는 General Concept 수준에서 어떤 파이썬 코드가 좋은 코드인지 알려주고있다. 아래는 책의 내용중 'code style' 에 대한 부분을 정리한 것.. 2022. 1. 27.
Fuction test : Default Value & Variadic Parameter & Scoping Rule function : defalut value def my_func(a=20, b=10): return a-b print(my_func()) print(my_func(30)) # 인자 a에 30이 들어간다. print(my_func(40,5)) 10 20 35 non-default argument 가 앞에 나올 경우 문제없이 작동한다. def my_func2(a, b=10): #non-default argument가 먼저 들어가있다. return a+b print(my_func2(10,20)) print(my_func2(5,20)) print(my_func2(40)) 30 25 50 반대로 default argument가 앞에 나온 경우에는 non-default argument follows default.. 2022. 1. 26.
반응형

티스토리툴바