공공데이터란?
데이터베이스, 전자화된 파일 등 공공기관이 법령 등에서 정하는 목적을 위하여 생성 또는 취득하여 관리하고 있는 광(光) 또는 전자적 방식으로 처리된 자료 또는 정보 by공공데이터법
Open Data 5 Star
스타가 많을 수록 개방성이 높다.
1 Star - 미충족 포맷
특정 SW에서 읽기만 가능, 자유로운 수정 • 변환 불가 ex) PDF
2 Star - 최소충족 포맷
특정 SW에서 읽기뿐만 아니라, 수정 • 변환 가능 ex) HWP, XLS, JPG, PNG, MP3, WMV, MPEG, SWF
3 Star - 오픈 포맷
하나 이상의 비독점적 SW에서 읽기 • 수정 • 변환 가능 ex) CSV, JSON, XML
4 Star - 오픈 포맷
URI에 기초하여 데이터의 속성 및 관계에 대해 기술 ex) RDF (Rewsource Description Framework, 시맨틱 웹 기술 언어의 하나)
5 Star - 오픈 포맷
웹상의 다른 데이터와 연결되어 제공되는 데이터 ex) LOD (Linked Open Data, 문서간의 연결을 넘어 데이터가 서로의 의미적 연결 관계로 이루어진 웹)
공공데이터 생성 프로세스
(생성 및 수집) (처리) (등록) (제공) (사후관리)
Web Crawling
파일 형태가 아닌 OpenAPI 방식으로 공개된 공공데이터도 존재
- BeautifulSoup를 이용한 정적 크롤링
- Selenium을 이용한 동적 크롤링
- OpenAPI를 이용한 데이터 접근 및 수집