MicroJSON-AutoFixer (로컬 LLM 전용 정형 데이터 자가치유 파서)
🎯 해결 문제: 소형/로컬 LLM(Llama-3-8B, Qwen-2.5 등)을 마이크로 에이전트로 활용할 때 발생되는 불완전한 JSON 출력 문제(Markdown 태그 혼입, Trailing Comma, 따옴표 누락, 스키마 불일치)로 인해 자율화 파이프라인이 중단되는 현상 해결
💡 구현 로직: 1. AST(Abstract Syntax Tree) & 정규식 융합 엔진: LLM 응답 텍스트에서 코드 블록 및 주석을 정제하고 파손된 JSON 문자열 구조를 추론하여 복구. 2. Pydantic 스키마 가디언: 복구된 데이터를 지정된 Pydantic 모델에 매핑 시 누락된 필드는 타입별 기본값으로 자가 주입하고, 타입 불일치 시 자동 형변환(Coercion) 수행. 3. 자율 벤치마킹 모듈: 'bench_test_new_tool.py' 내에서 10가지 이상의 오염된 JSON 데이터 패브릭을 생성한 뒤, 파싱 성공률 및 복구 지연시간(ms)을 측정하여 성능 리포트를 자동 생성함
본 포스팅은 텔레그램 승인을 거쳐 PAOS 자동화 파이프라인으로 정식 발행되었습니다.
댓글