diff options
| author | okayurisotto <47853651+okayurisotto@users.noreply.github.com> | 2024-02-28 15:34:58 +0900 |
|---|---|---|
| committer | GitHub <noreply@github.com> | 2024-02-28 15:34:58 +0900 |
| commit | b7d9d1620161a728e34ab20d8ea99160b3eb4196 (patch) | |
| tree | 6e59e3cd1a98f8ed96ab943c64223f65b9bb7e14 /packages/backend/src/misc | |
| parent | enhance(backend): フォロー・フォロワー関連の通知の受信設... (diff) | |
| download | sharkey-b7d9d1620161a728e34ab20d8ea99160b3eb4196.tar.gz sharkey-b7d9d1620161a728e34ab20d8ea99160b3eb4196.tar.bz2 sharkey-b7d9d1620161a728e34ab20d8ea99160b3eb4196.zip | |
refactor(backend): ノートのエクスポート処理でStreams APIを使うように (#13465)
* refactor(backend): ノートのエクスポート処理でStreams APIを使うように
* fixup! refactor(backend): ノートのエクスポート処理でStreams APIを使うように
`await`忘れにより、ジョブがすぐに完了したことになり削除されてしまっていた。
それによって、`NoteStream`内での`updateProgress`メソッドの呼び出しで、`Missing key for job`のエラーが発生することがあった。
---------
Co-authored-by: syuilo <4439005+syuilo@users.noreply.github.com>
Diffstat (limited to 'packages/backend/src/misc')
| -rw-r--r-- | packages/backend/src/misc/FileWriterStream.ts | 31 | ||||
| -rw-r--r-- | packages/backend/src/misc/JsonArrayStream.ts | 30 |
2 files changed, 61 insertions, 0 deletions
diff --git a/packages/backend/src/misc/FileWriterStream.ts b/packages/backend/src/misc/FileWriterStream.ts new file mode 100644 index 0000000000..828851df0e --- /dev/null +++ b/packages/backend/src/misc/FileWriterStream.ts @@ -0,0 +1,31 @@ +import * as fs from 'node:fs/promises'; +import type { PathLike } from 'node:fs'; + +/** + * `fs.createWriteStream()`相当のことを行う`WritableStream` (Web標準) + */ +export class FileWriterStream extends WritableStream<Uint8Array> { + constructor(path: PathLike) { + let file: fs.FileHandle | null = null; + + super({ + start: async () => { + file = await fs.open(path, 'a'); + }, + write: async (chunk, controller) => { + if (file === null) { + controller.error(); + throw new Error(); + } + + await file.write(chunk); + }, + close: async () => { + await file?.close(); + }, + abort: async () => { + await file?.close(); + }, + }); + } +} diff --git a/packages/backend/src/misc/JsonArrayStream.ts b/packages/backend/src/misc/JsonArrayStream.ts new file mode 100644 index 0000000000..ad35bb3a79 --- /dev/null +++ b/packages/backend/src/misc/JsonArrayStream.ts @@ -0,0 +1,30 @@ +import { TransformStream } from 'node:stream/web'; + +/** + * ストリームに流れてきた各データについて`JSON.stringify()`した上で、それらを一つの配列にまとめる + */ +export class JsonArrayStream extends TransformStream<unknown, string> { + constructor() { + /** 最初の要素かどうかを変数に記録 */ + let isFirst = true; + + super({ + start(controller) { + controller.enqueue('['); + }, + flush(controller) { + controller.enqueue(']'); + }, + transform(chunk, controller) { + if (isFirst) { + isFirst = false; + } else { + // 妥当なJSON配列にするためには最初以外の要素の前に`,`を挿入しなければならない + controller.enqueue(',\n'); + } + + controller.enqueue(JSON.stringify(chunk)); + }, + }); + } +} |