TIL 2021-11-11 Puppeteer와 Cheerio
크롤링 사이트를 만들기 위해서 Node에서 돌아가는 라이브러리를 찾아보니 이 둘을 같이 사용하는 경우를 자주 보았다. Puppeteer 같은 경우에는 브라우저 상의 작업들을 자동화해주는 라이브러리고, chromium 같은 google chrome headless browser에서만 돌아간다. Headless browser는 GUI가 없는 브라우저를 뜻한다. 사이트의 PDF를 생성할수 있고, SPA를 크롤링하여 prerendered content를 생성할 수 있다. 또한 UI 테스트, 키보드 조작 등이 가능하다. 그리고 자동화 테스트 환경을 구성할수 있다. Cheerio는 jquery 기반의 마크업 분석 및 조작을 담당하는 라이브러리다. CSS, 리소스 로딩, 자바스크립트 실행, 이런 것들이 없으며 따라서..