이 도구의 한계

알아 두세요

이 결과가 실제 장애인 사용자의 검증을 대신하지는 못합니다. 에이전트가 막혔다면 실제로도 문제가 있을 가능성이 높지만, 끝까지 갔다고 해서 문제가 없다는 뜻은 아닙니다. 실제 스크린리더가 읽어 주는 순서나 가상 커서 동작은 흉내 내지 않습니다.

리허설은 문제를 찾는 데 쓰는 도구입니다. 문제가 없다고 확인해 주지는 않습니다. 에이전트가 끝까지 갔다면, 접근성 트리와 키보드만으로도 갈 수 있는 길이 하나는 있었다는 뜻입니다.

스크린리더 에이전트: 화면은 보지 않습니다. 접근성 트리에서 제목, 랜드마크, 지금 포커스가 있는 곳과 그 주변 몇 줄만 읽습니다. 색, 배치, 포커스 테두리 같은 시각 정보는 알지 못합니다. 실제 스크린리더의 가상 커서나 읽어 주는 방식도 흉내 내지 않습니다.
키보드 에이전트: 페이지 구조는 보지만 마우스는 쓰지 않습니다. 포커스 표시가 보이지 않으면 지금 어디에 있는지 모릅니다. 포커스 표시가 세 번 연달아 보이지 않으면 위치를 모르는 채로 계속 움직입니다.
두 에이전트 모두 마우스를 쓰지 않습니다. 로그인해야 보이는 화면, 공개되지 않은 주소, 내부망 주소는 실행하지 않습니다.

포커스 표시가 없는 페이지에서는 실행할 때마다 결과가 달라집니다. 앞을 보며 키보드를 쓰는 사람이 입력된 글자로 위치를 짐작하듯, 에이전트도 운 좋게 끝까지 가기도 합니다. 그래서 포커스 위치를 몰랐던 단계가 있었는지 함께 표시합니다. 직접 만든 예제로 잰 결과, 결함이 있는 페이지 27회 중 2회는 이렇게 결함을 놓치고 끝까지 갔고, 고친 페이지 21회 중 1회는 잘못 막혔다가 에이전트의 한계로 판정됐습니다.
에이전트가 다 했다고 판단해도 그대로 믿지 않습니다. 성공 조건을 정해 둔 실행은 실제 페이지 상태와 맞춰 보고, 맞지 않으면 막힘으로 기록합니다. 홈 화면의 폼으로 실행할 때는 성공 조건이 없어서, 끝까지 갔는지는 기록 전체를 다시 읽은 판정 모델이 정합니다.
접근성 트리로는 끝까지 갔어도 실제 스크린리더에서는 다를 수 있는 부분은 원인 판단에 따로 적습니다.
페이지에 문제를 설명하는 글이 있어도 그것만 보고 막혔다고 하지 않습니다. 에이전트가 직접 해 보고 안 될 때만 막힘으로 기록합니다.

실제 장애인 사용자와 함께하는 검증은 장애인 당사자로 꾸려진 평가단을 운영하는 단체나 접근성 전문가에게 사용자 검사로 의뢰할 수 있습니다. 아래 두 곳은 전문가 검사와 장애 유형별 사용자 검사를 함께 하는 기관입니다.

배포할 때마다 CI에서 자동으로 돌리는 방식으로 넓힐 수 있습니다.