크롤링(crawling)은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출하는 행위를 말합니다. 크롤링하는 소프트웨어는 크롤러(crawler)라고 부르며, 웹 상의 다양한 정보를 자동으로 검색하고 색인하기 위해 사용됩니다. 크롤링은 웹 데이터 수집에 매우 유용한 기술로, 다양한 소프트웨어와 라이브러리를 활용하여 구현할 수 있습니다.
크롤링을 위해 사용되는 주요 소프트웨어로는 Beautiful Soup, Selenium, jsoup 등이 있습니다. 이들은 HTML 페이지를 파싱하고 필요한 데이터를 추출하는 기능을 제공합니다. 또한 SaaS(Software as a Service) 형태로 운영되는 크롤링 서비스도 있으며, 해시스크래퍼, 크롤링즈, Scrapinghub 등이 대표적입니다.
크롤링은 합법적인 방법으로 사용되어야 하며, 웹사이트의 이용 약관을 준수해야 합니다. 크롤링을 통해 얻은 데이터를 무단으로 사용하거나 상업적으로 이용하는 것은 불법입니다. 따라서 크롤링을 할 때에는 해당 웹사이트의 이용 약관을 확인하고, 데이터 사용에 대한 제한 사항을 준수해야 합니다.
더 자세한 내용은 아래의 URL을 참고하시면 됩니다.
- 'https://namu.wiki/w/크롤링'
- 'https://www.fun-coding.org/post/crawl_basic2.html'