스프레드시트를 활용한 데이터 크롤링?
2023. 5. 29. 13:03
데이터 크롤링 강의
스프레드시트를 활용하여 데이터 크롤링을 수행하는 방법은 다음과 같습니다: 웹 데이터 가져오기: 스프레드시트의 "데이터" 또는 "외부 데이터 가져오기" 기능을 사용하여 웹에서 데이터를 가져올 수 있습니다. 일반적으로 HTML 테이블, CSV 파일, XML 등의 형식을 지원합니다. 데이터를 가져오기 위해 웹 사이트의 URL 또는 데이터의 경로를 제공하면 스프레드시트는 해당 데이터를 자동으로 가져와 업데이트할 수 있습니다. 웹 스크래핑: 스프레드시트에서는 간단한 웹 스크래핑을 수행할 수 있습니다. 예를 들어, IMPORTXML 함수를 사용하여 XML 또는 HTML 페이지에서 특정 데이터를 추출할 수 있습니다. 이를 통해 웹 사이트의 특정 요소, 테이블, 링크 등의 데이터를 가져올 수 있습니다. 스프레드시트를 ..

크롤링한 데이터 구글스프레드시트로 정리하기.
2022. 8. 6. 16:34
데이터 크롤링 강의
크롤링 데이터를 구글스프레드시트로 보냈을 때 장점. 1. 관리가 편해진다. 우선적으로 팀 공유가 원할하다. 크롤링 데이터는 보통 csv파일등으로 저장되는데 이러한 데이터를 1차 가공 후에 스프레드시트로 넘겨도 되고, 스프레드 시트에 데이터를 먼저 넘기고 스프레드시트내에서 데이터 작업을 할 수도 있다. 이는 엑셀에서 유연한 데이터 핸들링 스킬만 숙지한다면 1만 ~ 10만개 정도의 데이터 정도는 간단하게 만져볼 수 있다. 2. 시각화의 편리함과 이메일 보내기 시각화와 이메일을 보내기가 편해진다. 아무래도 파이썬내부에서 metaplot등 라이브러리를 써서 이미지로 추출하는거보다 훨씬 다양한 리소스를 다룰 수 있다. 데이터 스튜디오에서 차트를 구성해도 되기 때문 물론 지도형 데이터나 API등으로 웹페이지에 구현..