#7 SOL-ExecBench: Speed-of-Light Benchmarking for Real-World GPU Kernels Against Hardware Limits

Detailed Summary (EN)

Problem definition

As agentic AI systems become increasingly capable of generating and optimizing GPU kernels Chen et al.
Existing benchmarks often measure success by speedup over a software baseline, even though the real objective in kernel engineering is to approach hardware-efficient execution.
This mismatch is becoming more consequential as each GPU generation introduces new performance-critical features at a rapid pace, while power efficiency becomes a primary constraint in data center deployments.
In practice, manual optimization cannot keep up indefinitely with both the hardware feature cadence and the growth in model complexity, making AI-based kernel optimization increasingly necessary rather than optional.

Core idea & method

This mismatch is becoming more consequential as each GPU generation introduces new performance-critical features at a rapid pace, while power efficiency becomes a primary constraint in data center deployments.
In practice, manual optimization cannot keep up indefinitely with both the hardware feature cadence and the growth in model complexity, making AI-based kernel optimization increasingly necessary rather than optional.

Experimental setup & results

of agentic optimizers, we additionally provide a sandboxed harness with GPU clock locking, L2 cache clearing, isolated subprocess execution, and static analysis based checks against common reward-hacking strategies.
SOL-ExecBench reframes GPU kernel benchmarking from beating a mutable software baseline to closing the remaining gap to hardware Speed-of-Light.
1 Introduction As agentic AI systems become increasingly capable of generating and optimizing GPU kernels Chen et al.
Existing benchmarks often measure success by speedup over a software baseline, even though the real objective in kernel engineering is to approach hardware-efficient execution.
This mismatch is becoming more consequential as each GPU generation introduces new performance-critical features at a rapid pace, while power efficiency becomes a primary constraint in data center deployments.

Limitations & risks

of SOLAR is that its analysis is based solely on tensor shapes rather than values.
Consequently, it cannot capture value-dependent optimizations such as compression or constant propagation, and may overlook performance gains from structured or repeated data that enable more efficient memory access or algebraic simplifications.
Additionally, the SOL bound may not be tight in practice due to hardware variability, such as power capping or thermal throttling.
4.3 Metric: SOL Score We define a new performance metric, the SOL score, denoted by S ∈[0, 1].

Read-like-fullpaper digest

This paper addresses As agentic AI systems become increasingly capable of generating and optimizing GPU kernels Chen et al. The core method is This mismatch is becoming more consequential as each GPU generation introduces new performance-critical features at a rapid pace, while power efficiency becomes a primary constraint in data center deployments. Key empirical findings include of agentic optimizers, we additionally provide a sandboxed harness with GPU clock locking, L2 cache clearing, isolated subprocess execution, and static analysis based checks against common reward-hacking strategies.

상세 요약 (KO)

문제 정의

에이전트 AI 시스템이 점차 GPU 커널을 생성하고 최적화할 수 있게 됨에 따라 Chen et al.
기존 벤치마크는 커널 엔지니어링의 실제 목표가 하드웨어 효율적인 실행에 접근하는 것이지만 소프트웨어 기준에 대한 속도 향상으로 성공을 측정하는 경우가 많습니다.
이러한 불일치는 각 GPU 세대가 빠른 속도로 성능에 중요한 새로운 기능을 도입하고 전력 효율성이 데이터 센터 배포의 주요 제약 사항이 되면서 더욱 심각해지고 있습니다.
실제로 수동 최적화는 하드웨어 기능 흐름과 모델 복잡성 증가를 무한정 따라잡을 수 없으므로 AI 기반 커널 최적화가 선택 사항이 아닌 점점 더 필요해지고 있습니다.

핵심 아이디어/방법

이러한 불일치는 각 GPU 세대가 빠른 속도로 성능에 중요한 새로운 기능을 도입하고 전력 효율성이 데이터 센터 배포의 주요 제약 사항이 되면서 더욱 심각해지고 있습니다.
실제로 수동 최적화는 하드웨어 기능 흐름과 모델 복잡성 증가를 무한정 따라잡을 수 없으므로 AI 기반 커널 최적화가 선택 사항이 아닌 점점 더 필요해지고 있습니다.

실험 설정/결과

에이전트 옵티마이저의 경우 GPU 클럭 잠금, L2 캐시 삭제, 격리된 하위 프로세스 실행, 일반적인 보상 해킹 전략에 대한 정적 분석 기반 검사 기능을 갖춘 샌드박스 하네스를 추가로 제공합니다.
SOL-ExecBench는 GPU 커널 벤치마킹을 변경 가능한 소프트웨어 기준을 깨는 것에서 하드웨어 빛 속도에 대한 남은 격차를 줄이는 것으로 재구성합니다.
1 소개 에이전트 AI 시스템의 GPU 커널 생성 및 최적화 능력이 점차 향상됨에 따라 Chen et al.
기존 벤치마크는 커널 엔지니어링의 실제 목표가 하드웨어 효율적인 실행에 접근하는 것이지만 소프트웨어 기준에 대한 속도 향상으로 성공을 측정하는 경우가 많습니다.
이러한 불일치는 각 GPU 세대가 빠른 속도로 성능에 중요한 새로운 기능을 도입하고 전력 효율성이 데이터 센터 배포의 주요 제약 사항이 되면서 더욱 심각해지고 있습니다.

한계/리스크

SOLAR의 분석은 값이 아닌 텐서 형태에만 기반을 두고 있다는 점입니다.
결과적으로 압축이나 상수 전파와 같은 값 의존적 최적화를 포착할 수 없으며, 보다 효율적인 메모리 액세스 또는 대수적 단순화를 가능하게 하는 구조화되거나 반복되는 데이터의 성능 향상을 간과할 수 있습니다.
또한 전력 제한 또는 열 조절과 같은 하드웨어 가변성으로 인해 실제로 SOL 경계가 엄격하지 않을 수 있습니다.
4.3 지표: SOL 점수 S∈[0, 1]로 표시되는 새로운 성능 지표인 SOL 점수를 정의합니다.

전체 논문 읽은 느낌 요약

이 문서에서는 에이전트 AI 시스템이 점차 GPU 커널을 생성하고 최적화할 수 있게 됨에 따라 Chen et al. 핵심 방법은 각 GPU 세대가 성능에 중요한 새로운 기능을 빠른 속도로 도입하고 전력 효율성이 데이터 센터 배포의 주요 제약 사항이 되면서 이러한 불일치가 더욱 심각해지고 있다는 것입니다. 주요 경험적 결과에는 에이전트 옵티마이저가 포함되며, GPU 클록 잠금, L2 캐시 지우기, 격리된 하위 프로세스 실행 및 일반적인 보상 해킹 전략에 대한 정적 분석 기반 검사 기능을 갖춘 샌드박스 하네스도 제공됩니다.