Tray Vision Throughput Benchmark — 비전 파이프라인 처리량

:::ko

상태	Technical note · 2026.01.15 · 10 페이지
저자	김민수 (NuviLab Research · CV Lead) · 한규홍 (Engineering Lead)
데이터셋	컴퓨터 비전 검증 세트, 2024
문서	내부 자료

초록

NuviLab 비전 파이프라인의 식판 1장 처리 시간, 단일 GPU(NVIDIA L4) 기준 처리량, 메뉴 수에 따른 스케일링 특성을 정리.

핵심 결과

• 식판 1장 처리 시간 (메뉴 5개 기준): 평균 187 ms, p95 312 ms
• 단일 L4 GPU 처리량: 약 5.3 식판/초 (batch 8 기준)
• 메뉴 수 스케일링: 1→10개로 늘 때 처리 시간 1.4x 증가 (선형 미만)
• 가장 큰 비용: 메뉴 분할 (총 시간의 58%)
• p99 latency가 p95의 1.7배 — 일부 복합 식판(반찬 8+ )에서 outlier :::

:::en

Status	Technical note · 2026.01.15 · 10 pages
Authors	Minsoo Kim (NuviLab Research · CV Lead) · Kyuhong Han (Engineering Lead)
Dataset	Computer Vision Validation Set, 2024
Document	Internal

Abstract

Per-tray processing time, single-GPU (NVIDIA L4) throughput, and scaling behavior of the NuviLab vision pipeline.

Headline results

• Per-tray time (5 menus): 187 ms mean, p95 312 ms
• Single-L4 throughput: ~5.3 trays/s (batch 8)
• Menu scaling: 1→10 menus increases time by 1.4x (sub-linear)
• Largest cost: menu segmentation (58% of total)
• p99 ≈ 1.7× p95 — driven by complex trays (8+ side dishes) :::