파이썬 셀레니움 stale element 오류: DOM 갱신 후 요소를 다시 찾는 기준

파이썬 Selenium에서 stale element reference가 발생하면 페이지 이동이나 DOM 교체 여부와 현재 창·iframe 맥락을 먼저 확인해야 합니다. 노드가 교체됐다면 기존 WebElement 대신 locator로 현재 요소를 다시 찾고, 맥락만 바뀌었다면 올바른 창이나 프레임으로 돌아가 확인합니다.

stale element reference는 무엇이 stale 된 것인가

find_element가 반환하는 WebElement는 현재 DOM의 노드를 가리키는 참조입니다. 화면에 같은 버튼이 다시 보이더라도 페이지가 해당 노드를 제거하고 새 노드로 교체했다면, 이전 객체가 새 노드를 자동으로 가리키지는 않습니다. 이때 기존 객체의 click(), text, 속성 조회 같은 동작에서 StaleElementReferenceException이 발생할 수 있습니다.

다음 상황을 먼저 의심해 볼 수 있습니다.

  • driver.get()이나 링크 클릭 뒤 페이지가 이동했다.
  • 새로고침 후 같은 화면이 다시 렌더링됐다.
  • JavaScript가 목록이나 폼의 노드를 통째로 교체했다.
  • 창 또는 iframe 전환으로 현재 문서 맥락이 달라졌다.

반대로 단순히 요소가 아직 화면에 나타나지 않은 문제라면 stale이 아니라 존재·표시·활성화 시점의 문제일 수 있습니다. 오류 이름만 보고 sleep부터 늘리면 원인과 해결책이 어긋납니다.

기존 WebElement를 쓸지 다시 찾을지 판단하는 기준

운영 관점에서는 요소 객체를 오래 보관하지 않는 쪽이 안전합니다. 페이지나 DOM이 바뀌지 않았고 같은 동작 흐름 안에서 바로 읽거나 클릭한다면 기존 객체를 사용할 수 있습니다. 다음 동작 전에 페이지 이동이나 노드 교체가 있었다면 locator를 기준으로 다시 조회하는 편이 맞습니다.

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 10)
submit_locator = (By.CSS_SELECTOR, "button[type='submit']")

# DOM 갱신이나 페이지 전환 뒤에는 이전 element가 아니라 locator로 조회합니다.
submit = wait.until(EC.element_to_be_clickable(submit_locator))
submit.click()

예제의 대기 시간 10초는 임의의 설정값이며 실제 페이지에 맞춰 조정해야 합니다. 여기서 중요한 점은 submit 객체를 다음 화면까지 들고 가지 않는 것입니다. 페이지 이동이나 노드 교체 뒤에는 해당 화면에 맞는 locator를 사용해 현재 DOM의 요소를 받아야 합니다. locator 자체는 요소가 아니므로, 재조회 기준으로 보관하기에 적합합니다.

WebDriverWait와 staleness_of의 역할을 나누기

WebDriverWait는 조건 함수가 참인 결과를 돌려줄 때까지 조건을 확인합니다. 따라서 고정 시간만 기다리는 time.sleep()보다 “현재 DOM에 요소가 존재하는가”, “클릭 가능한가”처럼 다음 동작에 필요한 상태를 표현하기 좋습니다.

새 요소를 기다리는 일반적인 흐름은 다음과 같습니다.

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 10)
row_locator = (By.CSS_SELECTOR, "div.result-row")

rows = wait.until(EC.presence_of_all_elements_located(row_locator))

presence_of_element_located나 presence_of_all_elements_located는 locator로 현재 DOM을 다시 확인합니다. 화면 표시나 사용자 동작까지 필요하면 visibility_of_all_elements_located, 클릭까지 필요하면 element_to_be_clickable처럼 조건을 바꿉니다.

이미 확보한 이전 요소가 사라지는 시점을 기준으로 다음 화면을 기다려야 할 때는 staleness_of가 맞습니다.

old_panel = driver.find_element(By.CSS_SELECTOR, "div.result-panel")
driver.find_element(By.CSS_SELECTOR, "button.refresh").click()

# 이전 패널이 DOM에서 분리될 때까지 기다립니다.
wait.until(EC.staleness_of(old_panel))

# 분리된 old_panel을 재사용하지 않고 새 패널을 locator로 찾습니다.
new_panel = wait.until(
    EC.presence_of_element_located((By.CSS_SELECTOR, "div.result-panel"))
)

이 순서가 모든 페이지에서 유일한 정답은 아닙니다. 갱신 이벤트가 이전 요소를 분리하는 방식인지, 새 요소가 먼저 생기는지에 따라 조건을 조정해야 합니다. 핵심은 staleness_of(old_panel)이 새 패널을 반환하지 않는다는 점입니다. 이전 참조가 분리됐는지 확인한 뒤 새 locator 대기를 별도로 적용해야 합니다.

목록을 미리 저장한 반복문에서 생기는 문제

find_elements로 얻은 목록도 각 항목은 특정 시점의 WebElement 참조입니다. 목록의 한 항목을 클릭할 때 페이지가 바뀌거나 목록 컨테이너가 다시 렌더링되면, 다음 반복에서 저장해 둔 항목이 stale 될 수 있습니다.

item_locator = (By.CSS_SELECTOR, "ul.items > li")

for index in range(3):
    # 매 반복마다 현재 DOM에서 목록을 다시 수집합니다.
    items = wait.until(EC.presence_of_all_elements_located(item_locator))
    if index >= len(items):
        break
    items[index].click()
    # 상세 화면 처리 후 목록 화면으로 돌아오는 코드가 있다고 가정합니다.
    driver.back()
    # 다음 반복에서 목록이 나타날 때까지 다시 기다립니다.

이 예제의 숫자 3은 임의의 반복 상한이며 실제 페이지의 전체 항목 수가 아닙니다. 예시에서는 처리할 인덱스 범위를 임의로 둔 것이므로, 실제 코드에서는 페이지네이션이나 현재 목록의 길이를 확인해야 합니다. 특히 정렬·필터·무한 스크롤이 있는 화면에서는 인덱스보다 항목의 안정적인 식별자와 locator를 함께 설계하는 편이 안전합니다.

오류가 나면 확인할 순서

  1. 예외가 난 동작 직전에 get, back, 새로고침, 클릭에 따른 화면 전환이 있었는지 확인합니다.
  2. 비동기 동작이 이전 노드를 분리하는 방식이라면 필요할 때 staleness_of로 분리를 기다립니다.
  3. 새 화면에서는 이전 WebElement가 아니라 locator 기반 WebDriverWait로 요소를 다시 찾습니다.
  4. 목록을 저장해 두고 화면을 바꾸는 반복문이라면 매 동작 직전에 목록을 재수집합니다.
  5. iframe 안의 요소라면 현재 프레임이 맞는지 확인하고 올바른 맥락으로 전환합니다.

try/except StaleElementReferenceException으로 같은 객체를 무조건 반복해도 분리된 참조는 복구되지 않습니다. 재시도할 때도 locator로 새 객체를 얻고, DOM이 실제로 안정됐는지 조건으로 확인해야 합니다. time.sleep()을 길게 넣는 것은 DOM 교체의 완료나 이전 참조의 폐기를 보장하지 않습니다.

마무리

stale element reference의 핵심은 화면에 같은 모양이 보이는지가 아니라, Selenium이 들고 있는 WebElement 참조가 현재 DOM에 여전히 연결돼 있는지입니다. 페이지 이동이나 DOM 교체 뒤에는 locator를 재사용하고, 이전 요소의 분리를 기다릴 필요가 있을 때만 staleness_of를 앞단에 둔 다음 새 요소를 다시 기다리면 됩니다.

참고한 공식 문서:

Leave a Comment