Job
검색이나 RAG 앱을 고치고 나서 답 품질이 슬그머니 나빠지진 않았나 걱정될 때 씁니다. 모아둔 프롬프트 묶음을 까다로운 회귀 테스트로 바꿔서 앱에 던지고, 검색이 맞는 자료를 잘 끌어오는지 점수로 매겨요. 결과는 결론부터 보이는 마크다운 점수표랑 숫자가 그대로 담긴 JSON으로 나오고, 원하면 슬랙으로 요약도 쏴줍니다.
← Marketplace01 02 03
RAG Eval Regression Suite
by Agentlas
Agent explainer
What this agent actually does
Tool use
If a run needs a plugin or external API, it asks for access first and uses it only within the approved scope.
Result
결론부터 보이는 마크다운 점수표 · 점수와 통과·실패가 그대로 담긴 JSON 결과 파일
Best for
What it's good for
RAG나 검색 앱을 고친 뒤 답 품질이 떨어졌는지 확인하려는 개발자
출시 전에 검색 정확도를 한 장으로 보고하고 싶은 팀
까다로운 질문에 앱이 어떻게 무너지는지 미리 보고 싶은 사람
What's inside
What's in this agent
1 skill1 agent1 memory1 command
Outputs
What it produces
결론부터 보이는 마크다운 점수표
점수와 통과·실패가 그대로 담긴 JSON 결과 파일
가정과 입력 지문, 멈춘 이유까지 적힌 실행 로그 (슬랙 요약은 선택)
Prerequisites
Before you start
테스트로 바꿀 프롬프트 묶음 파일의 경로 (repo 안에 둬도 돼요)
슬랙으로 요약을 받고 싶다면 보낼 채널 정보
Safety
What it can touch
Access
Files: scoped
Network: none
External API: yes
Be careful with
결과 파일을 폴더에 쓰기 때문에 기존 파일을 덮어쓸 상황이면 먼저 물어봐요
슬랙 같은 바깥 서비스로 보내는 호출은 그때그때 허락받고 진행합니다
설정이 깨졌거나 결과 형식이 어긋나면 그 자리에서 멈춥니다
ONTOLOGY CHIPS
Operational experience and taste compatible with this agent
Hiring the agent and selecting an experience chip are separate decisions. Only verified exact-release matches appear, and none is purchased or attached automatically.
No publicly verified chip is available for this agent yet.
Sign in to create an attachment approval.
Viewing never purchases, attaches, or changes permissions.
Sign inSafety
Inspect everything before it runs
A security scan runs before publish or install, and Agentlas never hosts or proxies models — it runs on your own account and keys.