구글 코랩환경에서 셀레니움 이용하기!(25년 05월)

반응형

728x90

나는 파이썬을 구글 코랩으로 사용한다.

코랩에서는 웹드라이버, 셀레니움 사용하면

계속 오류가 발생한다.

그래서 크롤링할때 챗 GPT도움을 받아도 

오류가 나는 경우가 많다.

그래서, 오늘

네이버 증권 뉴스 코랩환경에서 크롤링하는 

최신 버젼으로 성공한 내용을 

포스팅하려 한다

---

코랩으로 크롬드라이버 / 셀레니움 사용하는 

코드

# 코랩을 시작할 때 아래코드를 한 번 돌려줍니다.
!pip install selenium
!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver/usr/bin

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service

순서대로 

진행했음

!pip install webdriver_manager

!pip install chromedriver_autoinstaller

from selenium import webdriver
from selenium.webdriver.chrome.service import Service as ChromeService
from selenium.webdriver.chrome.options import Options as ChromeOptions
# 크롬 드라이버 자동 업데이트
from webdriver_manager.chrome import ChromeDriverManager
import time
import chromedriver_autoinstaller

options = ChromeOptions()
user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"
options.add_argument('user-agent=' + user_agent)
options.add_argument("lang=ko_KR")
options.add_argument('headless')
options.add_argument('window-size=1920x1080')
options.add_argument("disable-gpu")
options.add_argument("--no-sandbox")

# chrome driver
# 크롬 드라이버 최신 버전 설정
# service = ChromeService(executable_path=ChromeDriverManager().install())
# driver = webdriver.Chrome(service=service, options=options) # <- options로 변경

# 기존버전이 최신일 경우
driver = webdriver.Chrome(options=options) # <- options로 변경

# 웹페이지가 로딩될때까지 5초 기다림
driver.implicitly_wait(5)
# 화면 최대화
driver.maximize_window()

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select

# 셀레니움 버전 확인
import selenium
print(selenium.__version__)

이렇게 해서 

네이버 뉴스 크롤링 해서 워드 클라우드 만들어봤음

이건 25.05.31 돌려본거임

ㅋㅋㅋㅋㅋㅋ

챗gpt한테 크롬환경에서 하는 방법을 알려달라 했는데

안된다

오류 난다고 이야기해도 수정이 안되더이다..

(무료라서 그랬나.....)

암튼 예전 했던 거 찾아보면서 이리저리 짜깁기 해서 

성공함

구글 코랩에서 웹드라이버!!!! 셀레니움!!! 가능함