테스트 자동화의 발전 과정을 Automation → AI Testing → Agentic Testing의 흐름으로 살펴봅니다. AI가 테스트를 이해하고 계획, 실행, 분석하는 Agentic Testing의 개념과 미래 방향을 소개하고, Apptest.ai의 Ankylo를 통해 실제 구현 사례를 제시합니다.

생성형 AI의 확산으로 코드 생산 속도는 몇 배로 빨라졌지만, 검증 체계는 그 속도를 따라가지 못하고 있습니다. 이제 더 이상 품질 보증의 범위는 코드를 넘어 모델, 학습 데이터, 프롬프트, 외부 도구 연동까지 확장되었습니다. 본 발표에서는 AI 생성 코드의 리스크 사례와 함께 SBOM을 넘어 AIBOM의 개념과 필요성을 살펴보고 AI 중심 개발 환경에서 소프트웨어와 AI 자산을 투명하게 관리·공유하는 실질적 대응 전략을 제시합니다.

[와이즈와이어즈]

AI 코딩 도구가 코드 작성을 넘어 분석, 테스트, 배포까지 개발 전 과정을 자율적으로 수행하는 Agentic SDLC의 시대가 열리고 있지만 개발 속도의 혁명과 함께 코드 리뷰 없는 배포, 환각적 의존성, 품질 게이트 붕괴 등 Agentic 환경의 특수한 리스크가 현실화되고 있음. 이에 에이전틱 개발 환경에서 품질과 신뢰를 확보하기 위한 평가·검증 프레임워크와 품질 게이트 구조를 제안하고, 실제 솔루션에 대한 소개와 함께 AI 시대에 개발자와 QA의 역할이 어떻게 재정의되어야 하는지 제안.

개발은 빨라지고 테스트는 자동화되고 있다. 그러나 '통과'라는 결과만으로 소프트웨어 품질을 확신할 수 있을까? 본 강연에서는 SW Testing 및 QA 현장의 경험을 바탕으로, 짧아진 개발 주기와 잦은 변경 속에서 발생하는 검증의 병목과 사각지대를 살펴본다. 무엇을 검증했는지, 판정의 근거는 타당한지, 남은 위험은 무엇인지를 중심으로 AI 시대에 요구되는 SQA의 역할과 AI 활용 방향을 제시한다.
이어 SQA 관점에서 설계한 E2E 테스트 AI 에이전트를 통해 테스트 설계부터 자동 실행, 결과 확인까지 연결되는 AI 기반 검증 구조를 보여주며, AI의 실행력과 SQA의 품질 판단을 결합한 검증 구조의 재설계 방향을 제시한다.

개발자들이 깃허브(GitHub)나 클로드 코드(Claude Code) 등을 활용해 엄청난 속도로 코드를 뿜어내는 시대에, “쏟아지는 AI 코드의 결함과 환각(Hallucination)을 QA와 개발이 어떻게 협력하여 방어할 것인가?”에 대한 실무적 해답을 제시합니다.

생성형 AI와 AI Agent의 확산은 소프트웨어 테스팅의 경계를 바꾸고 있습니다. 기존 테스트가 기능과 출력의 정확성을 검증했다면, AI Agent 시대에는 목표 해석, 도구 사용, 실행 과정과 실제 업무 결과까지 평가해야 합니다. Physical AI에서는 AI의 판단이 센서, 제어 소프트웨어와 액추에이터를 거쳐 현실 세계의 행동으로 이어지면서 검증 범위가 더욱 확장됩니다.
이 발표에서는 AI 시대의 Testing이 Software Testing → AI/Agent Reliability Testing → Hardware·Software·AI가 결합된 Physical AI Assurance로 어떻게 확장될 수 있는지를 살펴봅니다.
AIWORKX의 Test Farm과 BSP/SW 검증 경험, 그리고 AgentRigor의 로그·Trace·Tool Call 기반 평가 사례를 통해 기존 역량이 Physical AI의 HW/SW 통합 검증과 AI 실행 검증으로 어떻게 발전할 수 있는지 살펴봅니다. 마지막으로 시뮬레이션, 실기기, 현장 검증과 지속적 회귀 테스트를 연결하는 미래 Physical AI Testing의 모습과 Test × Data × Agent 기반의 기술 로드맵을 공유합니다.

강연에서는 전통적 소프트웨어와 차별화되는 AI SW 테스팅의 특성을 짚어보고, 이를 체계적으로 다루기 위한 ISO/IEC 42119 시리즈 표준 제정 현황을 소개합니다. 아울러 실제 레드팀 테스팅 챌린지를 통해 도출한 인사이트를 바탕으로 생성형 AI의 안전성과 신뢰성을 확보하는 방안(AI를 테스트)을 공유합니다. 더 나아가, AI가 각 산업에 확산되는 흐름 속에서 SW 품질 전문 기업으로서 당사가 추진중인 AI 기반 테스트 자동화 도구의 방향성과 개발 사례(AI로 테스트)를 선보이며 실무적인 인사이트를 제시하고자 합니다.

쇄망 조직은 승인된 AI 모델만 쓸 수 있고 그 모델은 언제든 바뀝니다. 그래서 AI 선택은 조직에 맡기고, 품질 운영은 XGEN TMS에 고정하는 구조를 제안합니다. 사내 LLM, 오픈 웨이트, 상용 API 등 어떤 엔진이든 MCP로 연결해 요구사항과 테스트케이스를 생성하며, 엔진이 바뀌어도 테스트 자산과 이력은 XGEN TMS에 그대로 남습니다. 생성된 테스트는 승인 게이트를 거쳐 Tricentis Tosca로 실행되고, 결과와 결함이 자동 수집되어 요구사항·테스트케이스·결함 간 양방향 추적성이 실행 데이터에서 자동으로 완성됩니다. 제안요청서 기반 라이브 데모로, 외부 호출 0건 상태에서 요구사항 생성부터 승인, 실행, 릴리스 게이트 판정 리포트까지 한 흐름으로 보여드립니다.
GS, ASPICE, ISO 25000, IEC 62304 심사를 준비하는 조직에, AI 산출물의 승인 증적과 변경 영향·회귀 기록이 별도 작업 없이 남는 방법을 제시합니다.

고객의 질문이 바뀌고 있다. "버그는 없습니까?”에서 "이 시스템을 믿고 써도 됩니까?”로. 본 발표는 고객의 품질 판단을 뒷받침하는 근거를 제공한다는 Assurance 관점에서 와이즈스톤의 테스팅 전략을 소개한다. ‘Testing for AI’에서는 AI 시스템을 시험하며 축적한 경험과 평가 접근 방법을, ‘Testing by AI’에서는 AI 기반 테스팅 자동화 도구인 TestClaw를 활용해 기존 소프트웨어의 반복적인 기능 검증을 AI에게 맡기는 접근과 그 적용 범위를 공유한다. 테스트 수행이 자동화되어도, 무엇을 어떤 근거로 신뢰할 수 있는지 설명해야 하는 과제는 남는다. 이를 통해 테스팅 조직이 확장해야 할 전문성과 변화시켜야 할 업무 수행 방향을 제안한다.

품질 검증 자동화는 영역마다 서로 다른 도구와 체계로 발전해 왔다. 기능 검증, 성능 측정, LLM 품질 평가가 각각 독립적으로 구축되면서, 검증 대상은 하나의 서비스인데 테스트 자산과 실행 이력, 결함 관리가 도구마다 흩어지는 문제가 발생한다. 여기에 실행 자동화가 확산될수록 무엇이 왜 실패했는지 판단하는 일이 새로운 병목으로 남는다. 본 강연에서는 이러한 문제를 해결하기 위해 구축한 AI 기반 통합 QA 자동화 플랫폼을 소개하고, 이를 실제 서비스 환경에 적용한 S사의 사례를 공유한다. 성격이 다른 세 검증 영역을 하나의 테스트 자산·실행·결과 체계로 통합한 과정과, 클라우드와 실기기 환경을 연결한 실행 구조를 다룬다. 특히 AI가 실패 원인을 분석하고 보정안을 제시하되 실제 반영은 사람의 승인을 거치도록 한 설계 의도를 중심으로, 자동화 범위를 나눈 기준과 구축 과정에서 마주친 제약을 함께 공유한다. 이를 통해 QA 자동화 플랫폼을 통합·확장할 때 고려해야 할 구조적 선택과 AI 적용 범위에 대한 실무적 기준을 제시한다.

금융 IT는 신규 채널 출시, 규제·제도 대응, 차세대 시스템 유지보수로 개발 주기는 짧아지는 반면, 대상 시스템은 방대하고 기관 간 연계·데이터 정확성 요구가 높아 수작업 테스트만으로 품질 확보와 일정 준수가 어려워졌습니다. 본 발표에서는 자체 테스트자동화 솔루션 3HAND를 금융권에 구축한 실제 사례를 바탕으로, 금융 시스템 환경에 맞는 자동화 적용 유형을 소개합니다.
▲채널시스템(인터넷·모바일 뱅킹) 화면 테스트
▲대외기관 연계 API·전문 테스트
▲배치·정산 데이터 검증
▲부분개편 프로젝트의 회귀테스트 자동화 등 유형별 적용 방법과 함께, 구축 과정의 시행착오와 성공 요인을 공유합니다. 아울러 테스트 소요 시간 단축, 반복 테스트 비용 절감, 야간 무인 테스트 등 도입 효과를 정리하고, 생성형 AI와 결합한 테스트자동화의 다음 단계를 제시합니다.