자바로 크롤링 구현

Crawler.zip

  구글 플레이스토어에 있는 앱 이름, 아이콘, 패키지 이름이 필요해서 크롤링해서 사용하려고 만들어 보았습니다. 혹시 필요하신 분은 이거 받으셔서 좀 보강한 뒤에 사용하시면 될 것 같아요. 소스는 압축해서 파일로 올려 놨습니다.  

  우선 URL 클래스와 openStream을 사용해서 지정한 주소의 소스코드를 받아오도록 합니다. 그리고 필요한 부분을 추출하기 위해서 자를 수 있는 부분을 확인 한 다음 문자열을 잘라내면 됩니다. 문자열을 자르고 합치는게 일이지 웹을 긁어오는 건 일이 아니라 생각해요. 문자열을 잘 다루지 못하는 분이면 아래 문자열 자르고 합치는 부분에 대한 설명을 보시면 도움이 될거라 생각합니다.

  

  반복되는 부분이 끝 날때 까지 while이 돌고, while문 안에서 필요한 부분을 추출합니다. 그리고 추출한 다음 다음 문장에서 필요한 것을 추출하기 위해 추출한 부분은 다시 찾지 않도록 문자열의 일부분을 잘라내고 잘라진 문자열에서 패턴으로 필요한 부분을 찾습니다. 

  소스를 돌려보는 편이 빠를거라 생각되요~ 주석도 잘 달아놨으니까 한번 보세요~

2016/09/13 - [프로그래밍/JAVA] - 문자열을 나누거나 합치거나