Beautifulsoup
-
11/29: TIL | BeautifulSoup 과 Selenium, 리스트 요소 출력하기Today I Learned/Python 2022. 11. 30. 08:07
BeautifulSoup 과 Selenium 과거 크롤링이 필요할 때 BeautifulSoup보다 Selenium을 더 많이 썼다. 네이버 기사 크롤링, 네이버 주가 크롤링은 BeautifulSoup으로 했고, OTT 및 영화 개봉예정 리스트 크롤링, 구글 이미지 크롤링은 Selenium으로 했다. 언제 어떤 걸 쓰는 게 좋은지 정확히는 모르겠지만, BeautifulSoup으로 크롤링이 안되는 사이트들이 있다. 버튼 클릭 혹은 스크롤을 내리면 더 많은 정보를 보여주는 사이트는 Selenium으로 작동시켜 더 많은 정보를 수집할 수 있다! 근데 Selenium은 좀 느리다. 쓸 때마다 이미지를 받아와서 그럴 수도 있지만, time.sleep을 안 걸어주면, 정보를 다 가져오기도 전에 창을 닫아버릴 수도 있..