웹 크롤러란
- Web 페이지를 방문하여 자동적으로 수집하는 프로그램
- Web상에 존재하는 Contents를 수집하는 작업(프로그래밍으로 자동화 기능)으로 웹스크래핑(Web Scraping) 이라고도 함
크롤링을 위한 선행 학습
- 다음 분야에 대해 기본 지식이 선행되어야 함.
- 웹(Web)의 개녑
- HTML, CSS, JavaScript 구조 및 태그
- 파이썬 기초
자동화 데이터 수집 절차
크롤링(Crawling) 방식
|
정적 수집 |
동적 수집 |
| 사용패키지 |
requests / urllib |
seleninm |
| 수 커버리지 |
정적 웹 페이지 |
정적 / 동적 웹 페이지 |
| 수집 속도 |
빠름( 별도 페이지 조작 필요 X) |
상대적으로 느림 |
| 파싱 패키지 |
|
|
| 수집 순서 |
|
|