在 Go 中如何將 [][]byte 轉為 io.Reader ?
起因:在春節前的某一天,我在 ekit 項目的交流群里看到大明老師發了這樣一條消息:
各位大佬,問個小問題,有咩有誰用過 [][]byte 轉為 io.Reader 的東西?我以前搞過一次,但是我忘了是我手搓了一個實現,還是用的開源的,還是SDK 自帶的。
并且大明老師還為此開了一個 issue。
看到這條消息,我想起了我在對 Go 還不太熟悉時,曾寫過一個 io.MultiReader 的實現(當時寫完了我才知道原來 Go 中自帶了 io.MultiReader),想必應該有相似之處,于是就嘗試寫了一個出來。
不過,當我寫完時發現已經有人提交了代碼,于是我就沒把它當回事,也沒有寫測試代碼進行測試,就放一邊了。春節假期閑來無事,我忽然想起來這件事,就看了下對應的 pr,發現提交 pr 的作者和我的實現思路不太一樣。不過,雖然這個功能很小,既然我也實現了,就補齊下單元測試,發出來供參考,順便寫(水)一篇文章 :)。
思路設計
首先我設計了如下結構體:
type MultiBytes struct {
data [][]byte // 存儲數據的嵌套切片
index int // 當前讀/寫到的外層切片索引,data[index]
pos int // 當前讀/寫到的切片所處理到的位置下標,data[index][pos]
}
有了這個結構體,那么就可以設計 MultiBytes 的整體實現思路了。
首先,我們需要一個構造函數 NewMultiBytes 來創建 MultiBytes 對象。其次,則要實現 io.Reader 接口。最后,我們也可以順便實現一下 io.Write 接口。
MultiBytes 支持的函數和方法設計如下:
type MultiBytes
func NewMultiBytes(data [][]byte) *MultiBytes
func (b *MultiBytes) Read(p []byte) (int, error)
func (b *MultiBytes) Write(p []byte) (int, error)
基于此,我為每個方法畫了一個流程圖,你可以參考下:
圖片
流程圖中包含了每個方法內部的主體邏輯。
代碼實現
既然有了結構體和方法簽名,那么就可以依次實現所有方法了。
首先是構造函數 NewMultiBytes 的實現:
https://github.com/jianghushinian/blog-go-example/blob/main/iox/multi_bytes.go
// NewMultiBytes 構造一個 MultiBytes
func NewMultiBytes(data [][]byte) *MultiBytes {
return &MultiBytes{
data: data,
}
}
這沒什么好說的,就是根據給定的 data 初始化了一個 *MultiBytes 對象,index 和 pod 都為默認值 0。
接著是 Read 方法的實現:
// Read 實現 io.Reader 接口,從 data 中讀取數據到 p
func (b *MultiBytes) Read(p []byte) (int, error) {
// 如果 p 是空的,直接返回
if len(p) == 0 {
return 0, nil
}
// 所有數據都已讀完
if b.index >= len(b.data) {
return 0, io.EOF
}
n := 0// 記錄已讀取的字節數
for n < len(p) {
// 如果當前切片已經讀完,則切換到下一個切片
if b.pos >= len(b.data[b.index]) {
b.index++
b.pos = 0
// 如果所有切片都已讀完,退出循環
if b.index >= len(b.data) {
break
}
}
// 從當前切片讀取數據
bytes := b.data[b.index]
cnt := copy(p[n:], bytes[b.pos:])
b.pos += cnt
n += cnt
}
// 未讀取到數據且已經讀到結尾
if n == 0 {
return 0, io.EOF
}
return n, nil
}
Read 方法就是按照流程圖中的整體脈絡實現的。需要強調的一點是,程序最后還有一個 if n == 0 的判斷,如果成立,返回 io.EOF。這是為了處理 data 中嵌套的內部切片為空的情況,比如當 data 值為 [][]byte{[]byte{}} 這種情況時,程序就會走到這個分支。
然后是 Write 方法的實現:
// Write 實現 io.Writer 接口,將數據追加到 data 中
func (b *MultiBytes) Write(p []byte) (int, error) {
// 如果 p 是空的,直接返回
if len(p) == 0 {
return 0, nil
}
// 創建副本以避免外部修改影響數據
clone := make([]byte, len(p))
copy(clone, p)
b.data = append(b.data, clone)
return len(p), nil
}
值得注意的是,在 Write 方法實現中,對 p 進行了拷貝,生成新的副本,目的是防止用戶在調用 Write(p) 以后,隨意修改 p 的值而影響 MultiBytes 對象內部的 data。
最后,如果你不嫌麻煩,還可以增加如下兩行代碼,以檢查 MultiBytes 是否實現了 io.Reader 和 io.Write 接口:
var _ io.Reader = (*MultiBytes)(nil)
var _ io.Writer = (*MultiBytes)(nil)
至此,能夠將 [][]byte 轉為 io.Reader 的 MultiBytes 實現完成。
我們可以簡單測試一下效果。
示例代碼:
https://github.com/jianghushinian/blog-go-example/blob/main/iox/examples/multi_bytes.go
package main
import (
"fmt"
"github.com/jianghushinian/blog-go-example/iox"
)
func main() {
mb := iox.NewMultiBytes([][]byte{[]byte("Hello, World!\n")})
_, _ = mb.Write([]byte("你好,世界!"))
p := make([]byte, 32)
_, _ = mb.Read(p)
fmt.Println(string(p))
}
執行示例代碼,得到輸出如下:
$ go run examples/multi_bytes.go
Hello, World!
你好,世界!
總結
本文帶大家實現了一個能夠將 [][]byte 轉為 io.Reader 的 MultiBytes,代碼邏輯并不復雜,不過一些細節還是需要注意。
你還可以點擊這里 https://github.com/jianghushinian/blog-go-example/blob/main/iox/multi_bytes_test.go 查看更多的單元測試,如果你在使用過程中,發現任何 bug,歡迎交流。
本文示例源碼我都放在了 GitHub 中,歡迎點擊查看。
希望此文能對你有所啟發。
延伸閱讀
- ekit issue:https://github.com/ecodeclub/ekit/issues/271
- 本文 GitHub 示例代碼:https://github.com/jianghushinian/blog-go-example/blob/main/iox/multi_bytes.go
- 本文 GitHub 測試代碼:https://github.com/jianghushinian/blog-go-example/blob/main/iox/multi_bytes_test.go
本文轉載自微信公眾號「 Go編程世界」,可以通過以下二維碼關注。轉載本文請聯系 Go編程世界公眾號。