크롤링(crawling)은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위를 말합니다. 크롤링하는 소프트웨어는 크롤러(crawler)라고 부르며, 웹 페이지를 돌아다니면서 데이터를 수집합니다. 크롤링은 동적으로 웹페이지를 돌아다니면서 수집하는 것을 말하며, 스크래핑과는 다른 개념입니다. 크롤링은 검색 엔진이나 웹 상의 다양한 정보를 자동으로 검색하고 색인하기 위해 사용됩니다. 크롤링에는 BeautifulSoup, Selenium, jsoup 등 다양한 소프트웨어와 라이브러리가 사용됩니다.
자세한 내용은 아래의 URL을 참고하시면 됩니다.
- 'https://namu.wiki/w/크롤링'
- 'https://www.fun-coding.org/post/crawl_basic2.html'