#5 of AI and Deep Learning - 이미지 크롤링 at multiple web browser

이미지 크롤링 using pycharm IDE

개요

• IDE
• pycharm
• 기본 설정
• venv (가상환경) 세팅
• 참고
• https://daily-archive.blogspot.com/2020/06/3-of-ai-and-deep-learning-anaconda-w-cmd.html
• 그 외 본인이 편한 IDE 선택하면 될 듯
• ex) jupyter notebook
• framework
• selenium
• package
• beautifulsoup4
• 웹 문서 파싱
• 주로 html tag 파싱에 활용
• 다양한 tag들로부터 원하는 text value 혹은 attribute 추출 가능

(chapter - 1) 데이터 추출 기초 by urllib

• python org-site library
• https://docs.python.org/3.7/library/urllib.html
• urllib 패키지
• 크롤링 관련 함수 및 설정을 갖춘 라이브러리
• 데이터 추출 관련 2가지 함수
• 파싱 여부에 따른 저장 flow
• urlretrieve
• 저장 -> open() -> 변수 할당 -> 파싱 -> 재저장
• urlopen
• 변수 할당 -> 파싱 -> 저장

(chapter - 2) 브라우저에서 이미지 크롤링

• 기본 flow
• 이미지 탭 url 링크 복사
• bing 예시
• https://www.bing.com/images/search?q=%EC%B9%B4%ED%8E%98&form=HDRSC2&first=1&scenario=ImageBasicHover&cw=1134&ch=949
• q="검색어" 로 본인인 원하는 검색어 입력 가능
• selenium webdriver 활용
• selenium
• 웹 앱 프런트단에서의 테스트 자동화를 위한 프레임워크
• driver.excute_script("window.scrollBy(0, 500)")
• 500px 씩 스크롤을 내리겠다는 의미
• 작성하지 않으면 1회 default 양만 추출 가능하므로 포함해줌
• 상세 소스는 아래 github 참고
• 로컬 저장
• C or D 드라이브 등 원하는 경로에 저장
• urlretrieve 활용
• google chrome
• 1회 최대 400장 크롤링 가능
• + 수백, 수천장 더 할 수 있을지 방법 확인 중
• naver
• 기본 1회 최대 50장
• 50장 이상 본인이 원하는대로 크롤링 가능한 소스 찾아 적용
• max 1회 1000장일 것으로 예상됨
• bing 
• 위와 동일한 방법
• max 1회 35장밖에 수집 안되는 것으로 보임
• 해결 -ing

Sources

• personal github
• https://github.com/nazzang49/python-web-crawling
• 기본 저장 방식
• chrome
• naver
• bing

Refereneces

• 인프런 크롤링 강의
• https://www.inflearn.com/course/python-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EC%9B%B9-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%81%AC%EB%A1%A4%EB%A7%81/dashboard
• 다수 검색 문서