Skip to content

Grepで並列でファイル検索をする - #2828

Merged
berryzplus merged 2 commits into
sakura-editor:masterfrom
hpmy-dev:feature/grep-parallel-files
Nov 9, 2026
Merged

berryzplus merged 2 commits into
sakura-editor:masterfrom
hpmy-dev:feature/grep-parallel-files

Conversation

@hpmy-dev

@hpmy-dev hpmy-dev commented Nov 9, 2026

Copy link
Copy Markdown
Contributor

#2741 の段階 C の 2 本目で、最終です。
1 つのフォルダーの中のファイルを複数のスレッドで同時に検索し、Grep を速くします。結果(出力の順・見出し・ヒット数)は今までと同じです。

マルチスレッドの仕様

スレッドの役割

スレッド すること しないこと
メインスレッド フォルダーの列挙、ワーカーへのファイルの割り当て、結果を列挙の順に足して出力、画面の表示・中断の確認・メッセージの処理、64MB を超えるファイルの検索 ―
ワーカー(ファイル 1 つごとに std::jthread) ファイル 1 つの検索(DoGrepFile())。結果は SGrepFileResult にためて、std::future で返す 出力先・画面・CGrepAgent の状態に触らない。ファイルの途中で結果を出さない
  • ワーカーの数は min(コア数, 8, フォルダー内のファイルの数)(m_nMaxGrepThreads で上限を変えられる。1 なら直列)。
    コア数の確認方法:echo %NUMBER_OF_PROCESSORS%

  • 並列にするのは 1 つのフォルダーの中だけです。
    フォルダーの終わりで全部のワーカーを待ってから、次のフォルダーに進みます。

スレッドの間で共有するもの

もの 書く 読む 守り方
検索の条件(GrepInfo・検索パターン)、対象ファイルの一覧、フォルダーのパス ― 両方 検索の間は書き換えない。ワーカーの終わりを待つまで残す
正規表現(CBregexp) ワーカー ― ワーカーごとに持つ。空いている正規表現の一覧から渡し、検索が終わって結果ができた後に戻すので、同時に 2 つのワーカーでは使わない
中断のフラグ(std::atomic<bool>) メイン ワーカー atomic
検索の結果 ワーカー メイン std::packaged_task と std::future で受け渡す
ワーカーが終わった知らせ(grep::CGrepWorkerSignal) ワーカー メイン std::mutex と std::condition_variable。知らせた回数を数えるので、待つ前の知らせも取りこぼさない
共有メモリ(タイプ別設定、改行コードの設定、MIME の復号の設定など) ― 両方 読むだけ
LS() の文字列のバッファ 両方 両方 スレッドごとに持つ(thread_local)
文字コード名(CCodeTypeName)の表 初回だけ 両方 作るのは 1 回だけ(std::call_once)。名前は値で返す
文字コードの自動判別(uchardet) ― ― スレッドごとに持つ(下の「文字コードの自動判別」)

ワーカーが通る処理でスレッドセーフでなかったものは、先に直しました。

直したもの PR など
大文字小文字の変換表(skr_towupper()・skr_towlower())と、JIS・EUC の変換で使うロケールの初期化 #2819
DLL の読み込みでカレントディレクトリを変えない(ワーカーが uchardet を読み込むとき、ほかのスレッドのカレントディレクトリが壊れないように) #2789(Issue)
同じ検索パターンを、ワーカーごとの CBregexp にコンパイルする(CSearchStringPattern::CompileRegexp()) #2792
bregonig を、照合器ごとなら別のスレッドから同時に使えることのテスト(CBregexpTest.MatchConcurrentlyWithSeparateObjects) #2819

文字コードの自動判別

  • 自動判別(CCodeMediator::CheckKanjiCode())は、ワーカーの中で行います。uchardet の判別器(CharsetDetector)はスレッドごとに 1 つ持ち(static thread_local)、CESI は判別のたびに作るので、スレッドの間で共有しません。
  • CharsetDetector は、スレッドの初めに uchardet.dll を読み込み、スレッドの終わりに解放します。ワーカーのスレッドはファイルごとに作るので、メインスレッドが読み込んでいないと、ファイルごとに DLL が外れては読み込み直すことになります(DLL を外す処理が、スレッドの終わりの片付けの中で走ります)。そのため、Grep の間はメインスレッドでも uchardet.dll を読み込んでおき、ワーカーの読み込み・解放は参照の数が増減するだけにしています(DoGrep())。
  • uchardet.dll が無いときは、今までどおり CESI で判別します。
  • 文字コードを決めて読む(-GCODE・ダイアログの指定)ときは、自動判別を通りません。どちらも並列と直列で結果が同じことをテストしています。

結果の順と量

  • 出力は列挙した順です。メインスレッドは先頭のファイルの結果を待ち、受け取ったものから順に足します。
  • 先頭のファイルを待つ間も、検索が終わったワーカーには次のファイルを渡します。先に終わった結果は、受け取るまでためます(ワーカーの数の 4 倍まで)。
  • ワーカーはファイル全体をメモリに割り当てて読みます。64MB を超えるファイルはワーカーに渡さず、前のファイルの結果を全部受け取った後にメインスレッドで検索するので、同時に割り当てるのは 64MB × 8 までです(32 ビット版でアドレス空間が足りなくならないように)。

中断と後片付け

  • メインスレッドは、結果を待つ間も(最大 10ms 待つごとに)直列のときと同じ間隔で中断を確かめ、メッセージを処理します。
  • ワーカーは 32 行ごとに中断のフラグを見ます。ワーカーが中断(-1)を返したら、新しいファイルは渡しません。
  • DoGrepFilesParallel() を抜けるときは、例外のときも含めて、フラグを立ててから全部のワーカーの終わりを待ちます(grep::CCancelOnExit → ワーカーの列の片付けの順)。
  • ワーカーの例外は std::future でメインスレッドに渡ります。スレッドを作れないとき(std::system_error)は、そのファイルをメインスレッドで検索します。

直列のままのもの

単語単位(文字の種類の判定が文字幅のキャッシュを使うため)、Grep 置換、編集中のテキストからの Grep、コアが 1 つのとき、正規表現をコンパイルできないとき、対象のファイルが 1 つのフォルダー。

変更したポイント

ファイル 変更
grep/CGrepEnumFileBase.h 列挙の結果のファイルの大きさを 64 ビットで持つ(GetFileSizeLow() → GetFileSize())
agent/CGrepAgent.h ワーカー用の部品を namespace grep に足す(CGrepWorkerProgress: 中断のフラグだけを見る進み具合、CGrepWorkerSignal: 終わった知らせ、CreateWorkerRegexps())。SGrepSearchCond にワーカーごとの正規表現、SGrepOutput にワーカーで検索しているか(bWorker)を足す。受け渡し用の構造体(SGrepFileResult・SGrepFileWorker・SGrepWorkerQueue・SGrepFolderPath)と、上限(m_nMaxGrepThreads・m_nMaxParallelFileSize)を足す
agent/CGrepAgent.cpp DoGrep() ワーカーごとの正規表現を作る。Grep の間は uchardet.dll をメインスレッドでも読み込んでおく(ワーカーのスレッドが終わるたびに DLL が外れないように)
DoGrepFiles() 並列にできるときは DoGrepFilesParallel() に進む。ファイル 1 つの検索を DoGrepTargetFile() に移す(並列の側からも使う)
DoGrepFilesParallel()(新) 並列に検索して、列挙の順に足す。64MB を超えるファイルと、ワーカーに渡せなかったファイルはメインスレッドで検索する
LaunchGrepFiles()・LaunchGrepFile()・WaitFrontWorker()・MergeGrepFileResult()(新) 空いたワーカーに次のファイルを渡す、ワーカーのスレッドを作る、先頭の結果を待つ、ワーカーの結果を足す(見出しの付け方は直列と同じ)
DoGrepFile() ワーカーで検索しているときは、ファイルの途中で出力先に足さない
AppendResultIfDue() 64 ビットの大きさで数える(4GB を超えるファイルを正しく数える)

変わること

  • 速さ(下の表)。
  • ワーカーで検索するファイル(64MB 以下)は、ファイルの途中で結果を出さず、読んだ割合も表示しません。結果はファイル 1 つぶんの検索が終わってから足されます。

テスト

  • GrepParallelTest: 並列と直列で結果の文字列が同じこと(出力形式・見出し・行の出し方・正規表現・大文字小文字の区別・文字コードの指定・ファイルの一覧)。単語単位は直列のまま。大きいファイルはメインスレッドで検索すること。中断(最初・検索中・大きいファイルの検索中)。先頭のファイルが長いとき。:HWND: と正規表現をコンパイルできないときはワーカーの正規表現を作らないこと。
  • GrepWorkerProgressTest・GrepWorkerSignalTest: ワーカー用の部品。
  • 手元で GrepParallelTest を 20 回続けて流して通ることを確かめました。画面でも、結果・中断・リアルタイム表示・大きいファイルの読んだ割合の表示を確かめました。
  • 新しいコードのうち、スレッドを作れなかったときの 3 行はテストで通せません。

@github-actions

github-actions Bot commented Nov 9, 2026 •

Copy link
Copy Markdown

Test Results

1 934 tests  +15   1 934 ✅ +15   7m 4s ⏱️ - 3m 3s
  171 suites + 3       0 💤 ± 0 
    1 files   ± 0       0 ❌ ± 0 

Results for commit e06ebb1. ± Comparison against base commit 4fe6027.

♻️ This comment has been updated with latest results.

Copilot AI left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

🟡 Changes recommended

Unbounded worker-output buffering can exhaust memory and lose results, while the parallel path also leaves folder progress stale and large-file size accounting vulnerable to overflow.

3 open issues
What changed in this PR

Adds per-folder parallel file searching to Sakura Editor’s Grep, completing the parallelization work in #2741 while aiming to preserve result order, headings, and hit counts.

Changes:

  • Adds worker scheduling, ordered result merging, cancellation, and serial fallback for large files.
  • Tracks file sizes in 64 bits for scheduling and output timing.
  • Adds parallel-versus-serial comparisons and tests for cancellation and worker helpers.
File Description
src/​test/​cpp/​tests1/​test-grep-cmdline.cpp Tests parallel output, cancellation, large-file fallback, and worker helpers.
sakura_core/​grep/​CGrepEnumFileBase.h Preserves full 64-bit sizes during file enumeration.
sakura_core/​agent/​CGrepAgent.h Defines worker state, synchronization helpers, and parallel-search limits.
sakura_core/​agent/​CGrepAgent.cpp Implements parallel scheduling, ordered output, and serial fallback.

Review effort: Balanced

}
}
if( 0 < cmemMessage.GetStringLength() &&
if( !bWorker && 0 < cmemMessage.GetStringLength() &&
// データ検索のときファイルの合計が最大10MBを超えたら表示
if( out.pOutput->IsDrawing() && L'\0' != pszKey[0] ){
nWork += ( dwFileSizeLow + 1023 ) / 1024;
nWork += static_cast<int>( ( nFileSize + 1023 ) / 1024 );
Comment thread sakura_core/agent/CGrepAgent.cpp Resolved
berryzplus
berryzplus previously approved these changes Nov 9, 2026

@berryzplus berryzplus left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

対応ありがとうございます。

  • 対応目的と内容が一致してそう。
  • 修正行に対するカバレッジが8割達成。
  • SonarQube解析で マズそうな指摘 なし。

GitHub Copilotの指摘

  • 1個目。マルチスレッドの話。対応したほうがよさげ。他にも「再検討が必要」が入ってるので「一旦入れて問題なし」なはず。
  • 2個目。「うん、分かった」みたいな。合計サイズが2GBを超える考慮はしたほうがよいはず。
  • 3個目。「これは課題なんじゃなかったかしら」と思いました。「いまどの辺を検索してます」を更新すべきだと言われてそうだけど、マルチスレッド検索だと「いまどこ」が1つに決まらないはずで。

@hpmy-dev

hpmy-dev commented Nov 9, 2026

Copy link
Copy Markdown
Contributor Author

ご確認ありがとうございます。

  • 1個目。マルチスレッドの話。対応したほうがよさげ。他にも「再検討が必要」が入ってるので「一旦入れて問題なし」なはず。
  • 2個目。「うん、分かった」みたいな。合計サイズが2GBを超える考慮はしたほうがよいはず。
    上記2つは別途issueにします。
  • 3個目。「これは課題なんじゃなかったかしら」と思いました。「いまどの辺を検索してます」を更新すべきだと言われてそうだけど、マルチスレッド検索だと「いまどこ」が1つに決まらないはずで。

並列にしているのは 1 つのフォルダーの中のファイルだけです
(フォルダーの列挙とサブフォルダーへの再帰は直列のままで、結果が出る順と時機を今までと同じにするためです)。
フォルダーの終わりで全部のワーカーを待ってから、次のフォルダーに進みます。
そのため、並列で検索している間も、今のフォルダーは 1 つに決まりますので、こちらだけ対応させて頂きます。

@berryzplus

Copy link
Copy Markdown
Contributor

全然関係ないところで CI がエラーに。(HTTPステータス 504と言うことはどっかのサービス網が不安定…)

@hpmy-dev

hpmy-dev commented Nov 9, 2026

Copy link
Copy Markdown
Contributor Author

このままで良いでしょうか、それとも一度close , reopenしても良いですか?

Copilot AI left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

🟡 Changes recommended

Unbounded worker result buffering can exceed allocation limits, lose collected matches, or exhaust memory even when input files remain below the 64 MiB cap.

3 open issues
1 resolved since last review

Review effort: Balanced

*/
TEST_F(GrepParallelTest, ShowsCurrentFolder)
{
AddManyFiles();

Copy link
Copy Markdown
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@berryzplus
1件減、1件増。こちら実際にコア1つは現実的にあり得ないのでコメントアウトします。

@berryzplus berryzplus left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

「課題あり」で先に進む感じでいきます。

@berryzplus
berryzplus merged commit ab5bea5 into sakura-editor:master Nov 9, 2026
25 of 31 checks passed
@sonarqubecloud

sonarqubecloud Bot commented Nov 9, 2026

Copy link
Copy Markdown

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants