달에 앉아있는 서비

HTML을 뽑아 이용하여 크롤링도 할 수 있지만 때로는 직접 브라우저를 사용할 때가 있습니다. 이번에는 직접 브라우저를 활용하여 구글 이미지들을 크롤링하는 방법을 알아보겠습니다. Selenium 먼저 크롤링은 웹상에서 수집된 정보를 수집해 오는 작업입니다. 그리고 Selenium은 프로그램을 이용하여 웹 자동화 및 테스트를 제공하는 프레임워크입니다. Selenium은 크롤링의 역할을 폭넓게 수행할 수 있습니다. 기존에 크롤러는 HTML 분석에 그쳤다면 직접 조작할 수 있습니다. 직접 조작할 수 있는 장점은 다음과 같습니다. 자바스크립트가 동적으로 만든 데이터를 크롤링할 수 있다. HTML의 다양한 요소(input, button 태그 등)의 클릭 및 입력이 필요할 수 있다. 여담으로 Selenium은 다양..

최근에 경주 충효동에 있는 카페를 방문하였습니다. 카페 옥상에는 인터넷 익스플로러(IE)의 서비스 종료를 기념한 묘비가 있습니다. 그리고 여기서 아래의 문구를 보았습니다. "He was a good tool to download other browsers" "그는 다른 브라우저를 다운로드하는 좋은 툴이었습니다." 어떠한 소프트웨어든 발전하지 않으면 더 발달한 프로그램들이 점유율을 가져갑니다. 이번에는 왜 익스플로러는 망하였는지 알아보는 시간을 가져보도록 하겠습니다. ※ 논설의 특징상 글에서 필자의 의견이 있을 수 있습니다. 참고하면서 보면 감사합니다. 웹 브라우저란? 지금 인터넷에 접속해서 블로그에 써져있는 글을 보는 있는데 아마도 웹 브라우저를 사용 중입니다. 웹 브라우저는 HTML 문서와 그림, 파일..