hecbench: aobench の結果パターンが現行の出力と一致せず、全モデルで FAIL となる／参照先 master が本家から遅れている #35

事象

hecbench の smoke セットで、aobench が全システムで result pattern not found となり FAIL と判定される。ベンチマーク自体は正常に完了する。smoke セットの通過率はこの 1 件のため 11/12（91.67%）に固定される。

[hecbench] benchmark=aobench model=cuda status=FAIL metric=NA
[hecbench]   reason: result pattern not found

原因

レシピは結果の正規表現を HeCBench の benchmarks.yaml から取得する。aobench の項目は

(?:Average render time: )([0-9.+-e]+)(?: sec)

であるが、ORNL/HeCBench の a6eca659（2025-11-04、"measure kernel time in microseconds instead of render time"）以降、プログラムは

Average kernel time: 77.463599 usec.

を出力する。cuda / hip / omp / sycl の 4 版とも同じであり、benchmarks.yaml は変更されていない。ORNL/HeCBench の現在の master でも同じ状態である。

対応案

1. benchmarks.yaml の aobench のパターンを (?:Average kernel time: )([0-9.+-e]+)(?: usec) とする。レシピは一致した文字列から単位を判定するため、秒への換算はこのまま正しく行われる。修正の宛先は ORNL/HeCBench であり、HeCBench の担当の方から提案していただくのが適切と考える。
2. レシピが参照する RIKEN-RCCS/HeCBench の master は、ORNL/HeCBench の master より 41 コミット遅れており、独自のコミットを含まない。一方、main / acc / kokkos には独自の変更がある。benchpark がどのブランチを追うべきか、また master をいつ本家に追従させるかを確認したい。1 が本家に取り込まれても、master が追従しない限りこちらには反映されない。

@ando-kazuto @h-murai HeCBench の追加と fork の作業をされているお二人に、1 の本家への提案と 2 の方針についてご確認をお願いしたい。