Testing

AI와 함께 테스트가 빠르게 늘어난 뒤 CI에서 나타난 두 종류의 flaky test를 MongoDB 인덱스 초기화와 CPU throttling 관점에서 추적하고 해결한 경험

Promptfoo eval로 실패하는 테스트를 먼저 만들고, 프롬프트를 수정해서 통과시키는 TDD 방식의 프롬프트 엔지니어링. Vision 모델 삽질기.

OpenAI가 인수한 LLM 테스트 프레임워크 Promptfoo. 프롬프트 회귀 테스트, 모델 비교, Red Teaming, 그리고 실제 번역 앱에 적용한 경험까지.