Repository navigation
Grepで並列でファイル検索をする - #2828
Grepで並列でファイル検索をする#2828
Conversation
There was a problem hiding this comment.
🟡 Changes recommended
Unbounded worker-output buffering can exhaust memory and lose results, while the parallel path also leaves folder progress stale and large-file size accounting vulnerable to overflow.
3 open issues
What changed in this PR
Adds per-folder parallel file searching to Sakura Editor’s Grep, completing the parallelization work in #2741 while aiming to preserve result order, headings, and hit counts.
Changes:
- Adds worker scheduling, ordered result merging, cancellation, and serial fallback for large files.
- Tracks file sizes in 64 bits for scheduling and output timing.
- Adds parallel-versus-serial comparisons and tests for cancellation and worker helpers.
| File | Description |
|---|---|
src/test/cpp/tests1/test-grep-cmdline.cpp |
Tests parallel output, cancellation, large-file fallback, and worker helpers. |
sakura_core/grep/CGrepEnumFileBase.h |
Preserves full 64-bit sizes during file enumeration. |
sakura_core/agent/CGrepAgent.h |
Defines worker state, synchronization helpers, and parallel-search limits. |
sakura_core/agent/CGrepAgent.cpp |
Implements parallel scheduling, ordered output, and serial fallback. |
Review effort: Balanced
| } | ||
| } | ||
| if( 0 < cmemMessage.GetStringLength() && | ||
| if( !bWorker && 0 < cmemMessage.GetStringLength() && |
| // データ検索のときファイルの合計が最大10MBを超えたら表示 | ||
| if( out.pOutput->IsDrawing() && L'\0' != pszKey[0] ){ | ||
| nWork += ( dwFileSizeLow + 1023 ) / 1024; | ||
| nWork += static_cast<int>( ( nFileSize + 1023 ) / 1024 ); |
berryzplus
left a comment
There was a problem hiding this comment.
対応ありがとうございます。
- 対応目的と内容が一致してそう。
- 修正行に対するカバレッジが8割達成。
- SonarQube解析で マズそうな指摘 なし。
GitHub Copilotの指摘
- 1個目。マルチスレッドの話。対応したほうがよさげ。他にも「再検討が必要」が入ってるので「一旦入れて問題なし」なはず。
- 2個目。「うん、分かった」みたいな。合計サイズが2GBを超える考慮はしたほうがよいはず。
- 3個目。「これは課題なんじゃなかったかしら」と思いました。「いまどの辺を検索してます」を更新すべきだと言われてそうだけど、マルチスレッド検索だと「いまどこ」が1つに決まらないはずで。
|
ご確認ありがとうございます。
並列にしているのは 1 つのフォルダーの中のファイルだけです |
c21667b to
e06ebb1
Compare
|
全然関係ないところで CI がエラーに。(HTTPステータス 504と言うことはどっかのサービス網が不安定…) |
|
このままで良いでしょうか、それとも一度close , reopenしても良いですか? |
| */ | ||
| TEST_F(GrepParallelTest, ShowsCurrentFolder) | ||
| { | ||
| AddManyFiles(); |
There was a problem hiding this comment.
@berryzplus
1件減、1件増。こちら実際にコア1つは現実的にあり得ないのでコメントアウトします。
|





#2741 の段階 C の 2 本目で、最終です。
1 つのフォルダーの中のファイルを複数のスレッドで同時に検索し、Grep を速くします。結果(出力の順・見出し・ヒット数)は今までと同じです。
マルチスレッドの仕様
スレッドの役割
std::jthread)DoGrepFile())。結果はSGrepFileResultにためて、std::futureで返すCGrepAgentの状態に触らない。ファイルの途中で結果を出さないワーカーの数は min(コア数, 8, フォルダー内のファイルの数)(
m_nMaxGrepThreadsで上限を変えられる。1 なら直列)。コア数の確認方法:echo %NUMBER_OF_PROCESSORS%
並列にするのは 1 つのフォルダーの中だけです。
フォルダーの終わりで全部のワーカーを待ってから、次のフォルダーに進みます。
スレッドの間で共有するもの
GrepInfo・検索パターン)、対象ファイルの一覧、フォルダーのパスCBregexp)std::atomic<bool>)std::packaged_taskとstd::futureで受け渡すgrep::CGrepWorkerSignal)std::mutexとstd::condition_variable。知らせた回数を数えるので、待つ前の知らせも取りこぼさないLS()の文字列のバッファthread_local)CCodeTypeName)の表std::call_once)。名前は値で返すワーカーが通る処理でスレッドセーフでなかったものは、先に直しました。
skr_towupper()・skr_towlower())と、JIS・EUC の変換で使うロケールの初期化CBregexpにコンパイルする(CSearchStringPattern::CompileRegexp())CBregexpTest.MatchConcurrentlyWithSeparateObjects)文字コードの自動判別
CCodeMediator::CheckKanjiCode())は、ワーカーの中で行います。uchardet の判別器(CharsetDetector)はスレッドごとに 1 つ持ち(static thread_local)、CESIは判別のたびに作るので、スレッドの間で共有しません。CharsetDetectorは、スレッドの初めにuchardet.dllを読み込み、スレッドの終わりに解放します。ワーカーのスレッドはファイルごとに作るので、メインスレッドが読み込んでいないと、ファイルごとに DLL が外れては読み込み直すことになります(DLL を外す処理が、スレッドの終わりの片付けの中で走ります)。そのため、Grep の間はメインスレッドでもuchardet.dllを読み込んでおき、ワーカーの読み込み・解放は参照の数が増減するだけにしています(DoGrep())。uchardet.dllが無いときは、今までどおりCESIで判別します。-GCODE・ダイアログの指定)ときは、自動判別を通りません。どちらも並列と直列で結果が同じことをテストしています。結果の順と量
中断と後片付け
DoGrepFilesParallel()を抜けるときは、例外のときも含めて、フラグを立ててから全部のワーカーの終わりを待ちます(grep::CCancelOnExit→ ワーカーの列の片付けの順)。std::futureでメインスレッドに渡ります。スレッドを作れないとき(std::system_error)は、そのファイルをメインスレッドで検索します。直列のままのもの
単語単位(文字の種類の判定が文字幅のキャッシュを使うため)、Grep 置換、編集中のテキストからの Grep、コアが 1 つのとき、正規表現をコンパイルできないとき、対象のファイルが 1 つのフォルダー。
変更したポイント
grep/CGrepEnumFileBase.hGetFileSizeLow()→GetFileSize())agent/CGrepAgent.hnamespace grepに足す(CGrepWorkerProgress: 中断のフラグだけを見る進み具合、CGrepWorkerSignal: 終わった知らせ、CreateWorkerRegexps())。SGrepSearchCondにワーカーごとの正規表現、SGrepOutputにワーカーで検索しているか(bWorker)を足す。受け渡し用の構造体(SGrepFileResult・SGrepFileWorker・SGrepWorkerQueue・SGrepFolderPath)と、上限(m_nMaxGrepThreads・m_nMaxParallelFileSize)を足すagent/CGrepAgent.cppDoGrep()uchardet.dllをメインスレッドでも読み込んでおく(ワーカーのスレッドが終わるたびに DLL が外れないように)DoGrepFiles()DoGrepFilesParallel()に進む。ファイル 1 つの検索をDoGrepTargetFile()に移す(並列の側からも使う)DoGrepFilesParallel()(新)LaunchGrepFiles()・LaunchGrepFile()・WaitFrontWorker()・MergeGrepFileResult()(新)DoGrepFile()AppendResultIfDue()変わること
テスト
GrepParallelTest: 並列と直列で結果の文字列が同じこと(出力形式・見出し・行の出し方・正規表現・大文字小文字の区別・文字コードの指定・ファイルの一覧)。単語単位は直列のまま。大きいファイルはメインスレッドで検索すること。中断(最初・検索中・大きいファイルの検索中)。先頭のファイルが長いとき。:HWND:と正規表現をコンパイルできないときはワーカーの正規表現を作らないこと。GrepWorkerProgressTest・GrepWorkerSignalTest: ワーカー用の部品。GrepParallelTestを 20 回続けて流して通ることを確かめました。画面でも、結果・中断・リアルタイム表示・大きいファイルの読んだ割合の表示を確かめました。