크롤링(crawling)은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출하는 행위를 말합니다. 크롤링하는 소프트웨어는 크롤러(crawler)라고 부르며, 웹 상의 다양한 정보를 자동으로 검색하고 색인하기 위해 사용됩니다. 크롤링은 웹 페이지를 돌아다니면서 데이터를 수집하는 것을 의미하며, 스크래핑과는 다소 다른 개념입니다. 크롤링은 주로 검색 엔진이나 데이터 분석 등에 활용됩니다.
크롤링을 위해 사용되는 소프트웨어로는 Beautiful Soup, Selenium, jsoup 등이 있습니다. 이들은 웹 페이지의 HTML을 파싱하고 필요한 데이터를 추출하는 기능을 제공합니다.
크롤링은 합법적인 방법으로 사용되어야 하며, 웹 사이트의 이용 약관을 준수해야 합니다. 또한, 크롤링을 통해 얻은 데이터를 무단으로 사용하거나 상업적으로 이용하는 것은 불법입니다.
더 자세한 내용은 아래의 URL을 참고하시면 됩니다.
- 'https://namu.wiki/w/크롤링'
- 'https://www.fun-coding.org/post/crawl_basic2.html'