프로젝트 중 네이버 지도 정보가 필요하여 크롤링하였다. 코드는 아래를 참고하였다. https://velog.io/@kimdy0915/Selenium%EC%9C%BC%EB%A1%9C-%EB%84%A4%EC%9D%B4%EB%B2%84-%EC%A7%80%EB%8F%84-%ED%81%AC%EB%A1%A4%EB%A7%81%ED%95%98%EA%B8%B0  하지만 아래와 같이 짝수번째 값만 에러가 발생하였고, 상호명은 출력되지만 주소만 출력이 되지않아서  addr을 따로 출력해보니 짝수번째만 리스트 값이 비어있었다.  네이버 지도에서 다시 도로명 주소를 확인했더니 홀수, 짝수별로 클래스명이 달랐다 .. 확인을 안 하고 짝수 클래스명으로 접근해서 에러가 났던 것이었다. 네이버 지도 크롤링 전체 코드추가적으로 위도, ..

구글맵의 데이터를 크롤링하기 위해 필요한 라이브러리인 selenium과 BeautifulSoup을 설치한다.conda install seleniumconda install BeautifulSoup  chrome driver 설치 아래의 웹에서 자신의 크롬 버전에 맞는 크롬 드라이버를 설치한다.https://sites.google.com/chromium.org/driver/ ChromeDriver - WebDriver for ChromeWebDriver is an open source tool for automated testing of webapps across many browsers. It provides capabilities for navigating to web pages, user input,..

페이지가 나눠져 있는 경우가 아닌, 스크롤을 내리면 끝없이 페이지가 나오는 사이트에 대한 크롤링은 어떻게 할까?  네이버 블로그의 경우 페이지로 구분되어 있지 않고 스크롤을 내리면 계속해서 추가적인 정보가 뜬다. 이때 F12를 눌러 개발자 도구로 들어가서 네트워크 탭을 클릭하여 켠 상태에서 스크롤을 내리면 페이지가 업데이트되는 시점에 네트워크 탭도 같이 변경된다.  검색 후 스크롤을 내리지 않은 상태에서 현재 페이지에 해당하는 정보 값을 검색한다. 예시로 크롬확장프로그램을 검색하였다.   Headers탭에 있는 Request URL이 해당 블로그의 주소이다. 이것이 1페이지에 해당하는 주소이고, 스크롤을 하여 새롭게 나온 페이지의 정보 값을 검색하여 나온 주소를 통해 2, 3페이지도 얻을 수 있다.  여..