談?wù)剬?duì)Golang IO讀寫的困惑

前言

Golang的IO讀寫提供了很多種方式，目前本人知道的有io庫(kù)、os庫(kù)、ioutil庫(kù)、bufio庫(kù)、bytes/strings庫(kù)等。

雖然庫(kù)多是一件好事，意味著選擇性多，但讓我困惑的一點(diǎn)是：什么場(chǎng)景下該用哪個(gè)庫(kù)？ 為什么？

在給出結(jié)論前，我先想給出Golang內(nèi)置IO庫(kù)的項(xiàng)目結(jié)構(gòu)，主要方便理解和引用：

# 只列舉了核心的目錄及文件
src:
 - bufio
  - bufio.go
 - bytes
  - buffer.go
  - reader.go
 - io
  - ioutil
   - ioutil.go
  - io.go
 - os
  - file.go
 - strings 
  - reader.go

1.io庫(kù)屬于底層接口定義庫(kù)，其作用是是定義一些基本接口和一些基本常量，并對(duì)這些接口的作用給出說(shuō)明，常見(jiàn)的接口有Reader、Writer等。一般用這個(gè)庫(kù)只是為了調(diào)用它的一些常量，比如io.EOF。

2.ioutil庫(kù)包含在io目錄下，它的主要作用是作為一個(gè)工具包，里面有一些比較實(shí)用的函數(shù)，比如 ReadAll(從某個(gè)源讀取數(shù)據(jù))、ReadFile（讀取文件內(nèi)容）、WriteFile（將數(shù)據(jù)寫入文件）、ReadDir（獲取目錄）

3.os庫(kù)主要是跟操作系統(tǒng)打交道，所以文件操作基本都會(huì)跟os庫(kù)掛鉤，比如創(chuàng)建文件、打開(kāi)一個(gè)文件等。這個(gè)庫(kù)往往會(huì)和ioutil庫(kù)、bufio庫(kù)等配合使用

4.bufio庫(kù)可以理解為在io庫(kù)上再封裝一層，加上了緩存功能。它可能會(huì)和ioutil庫(kù)和bytes.Buffer搞混。
4.1 bufio VS ioutil庫(kù)：兩者都提供了對(duì)文件的讀寫功能，唯一的不同就是bufio多了一層緩存的功能，這個(gè)優(yōu)勢(shì)主要體現(xiàn)讀取大文件的時(shí)候（ioutil.ReadFile是一次性將內(nèi)容加載到內(nèi)存，如果內(nèi)容過(guò)大，很容易爆內(nèi)存）

4.2 bufio VS bytes.Buffer：兩者都提供一層緩存功能，它們的不同主要在于 bufio 針對(duì)的是文件到內(nèi)存的緩存，而 bytes.Buffer 的針對(duì)的是內(nèi)存到內(nèi)存的緩存（個(gè)人感覺(jué)有點(diǎn)像channel，你也可以發(fā)現(xiàn) bytes.Buffer 并沒(méi)有提供接口將數(shù)據(jù)寫到文件）。

5.bytes和strings庫(kù)：這兩個(gè)庫(kù)有點(diǎn)迷，首先它們都實(shí)現(xiàn)了Reader接口，所以它們的不同主要在于針對(duì)的對(duì)象不同，bytes針對(duì)的是字節(jié)，strings針對(duì)的是字符串（它們的方法實(shí)現(xiàn)原理很相似）。另一個(gè)區(qū)別就是 bytes還帶有Buffer的功能，但是 strings沒(méi)提供。

注：關(guān)于Reader和Writer接口，可以簡(jiǎn)單理解為讀取源和寫入源，即只要實(shí)現(xiàn)Reader里面的Read方法，這個(gè)東西就可以作為一個(gè)讀取源，里面可以包含數(shù)據(jù)并被我們讀取；Writer亦是如此。

以上就是個(gè)人的一些結(jié)論，下面會(huì)針對(duì)以上結(jié)論做進(jìn)一步說(shuō)明，如果有錯(cuò)誤的地方麻煩請(qǐng)留言指正，比心❤️！

窺探 io 庫(kù)

io庫(kù)比較常用的接口有三個(gè)，分別是Reader，Writer和Close。

// Read方法會(huì)接收一個(gè)字節(jié)數(shù)組p，并將讀取到的數(shù)據(jù)存進(jìn)該數(shù)組，最后返回讀取的字節(jié)數(shù)n。
// 注意n不一定等于讀取的數(shù)據(jù)長(zhǎng)度，比如字節(jié)數(shù)組p的容量太小，n會(huì)等于數(shù)組的長(zhǎng)度
type Reader interface {
  Read(p []byte) (n int, err error)
}

// Write 方法同樣接收一個(gè)字節(jié)數(shù)組p，并將接收的數(shù)據(jù)保存至文件或者標(biāo)準(zhǔn)輸出等，返回的n表示寫入的數(shù)據(jù)長(zhǎng)度。
// 當(dāng)n不等于len(p)時(shí)，返回一個(gè)錯(cuò)誤。
type Writer interface {
  Write(p []byte) (n int, err error)
}

// 關(guān)閉操作
type Closer interface {
  Close() error
}

關(guān)于 Read 方法的具體實(shí)現(xiàn)，可以在strings庫(kù)中看到：

// 定義一個(gè)Reader接口體
type Reader struct {
  s    string
  i    int64 // current reading index
  prevRune int  // index of previous rune; or  0
}

// 通過(guò)NewReader方法得到 reader 對(duì)象，這里有個(gè)關(guān)鍵的地方是傳入的字符串被賦值到 s 變量中
func NewReader(s string) *Reader { 
 return Reader{s, 0, -1} 
}

// Read方法： 核心是 copy 方法，參數(shù)b雖然是切片，但是copy方法會(huì)影響到它的底層數(shù)組
func (r *Reader) Read(b []byte) (n int, err error) {
  if r.i >= int64(len(r.s)) {
    return 0, io.EOF
  }
 r.prevRune = -1
 // 核心方法
  n = copy(b, r.s[r.i:])
  r.i += int64(n)
  return
}

窺探 ioutil 庫(kù)

上面提到，ioutil 庫(kù)就是一個(gè)工具包，里面主要是比較實(shí)用的函數(shù)，比如ReadFile、WriteFile等，唯一需要注意的是它們都是一次性讀取和一次性寫入，所以當(dāng)讀取的時(shí)候注意文件不能過(guò)大。

從文件讀取數(shù)據(jù)：

func readByFile() {
  data, err := ioutil.ReadFile( "./lab8_io/file/test.txt")
  if err != nil {
    log.Fatal("err:", err)
    return
  }
  fmt.Println("data", string(data)) // hello world！
}

把數(shù)據(jù)寫入到文件：

func writeFile() {
  err := ioutil.WriteFile("./lab8_io/file/write_test.txt", []byte("hello world!"), 0644)
  if err != nil {
    panic(err)
    return
  }
}

遍歷目錄：遍歷目錄有一個(gè)需要注意的是它的排序并不是自然排序方式。

窺探bufio庫(kù)

bufio 庫(kù)在上面也提到過(guò)，它主要是在io庫(kù)上加了一層緩存的功能，以下是bufio讀取大文件的例子：

func readBigFile(filePath string) error {
  f, err := os.Open(filePath)
  defer f.Close()

  if err != nil {
    log.Fatal(err)
    return err
  }

  buf := bufio.NewReader(f)
  count := 0
  for {
    count += 1
    line, err := buf.ReadString('\n')
    line = strings.TrimSpace(line)
    if err != nil {
      return err
    }
  fmt.Println("line", line)
  // 這里是避免全部打印
    if count > 100 {
      break
    }
  }
  return nil
}

注：

1.bufio 的ReadLine/ReadBytes/ReadString/ReadSlice： ReadString和ReadBytes等同，ReadBytes和ReadLine都調(diào)用了ReadSlice

窺探bytes/strings庫(kù)

前面提過(guò)，就單純實(shí)現(xiàn)Reader接口，bytes和strings底層函數(shù)的實(shí)現(xiàn)方式是差不多的，可以查看其源碼得證：

// bytes/reader.go
// Read implements the io.Reader interface.
func (r *Reader) Read(b []byte) (n int, err error) {
  if r.i >= int64(len(r.s)) {
    return 0, io.EOF
  }
  r.prevRune = -1
  n = copy(b, r.s[r.i:])
  r.i += int64(n)
  return
}

// strings/reader.go
func (r *Reader) Read(b []byte) (n int, err error) {
  if r.i >= int64(len(r.s)) {
    return 0, io.EOF
  }
  r.prevRune = -1
  n = copy(b, r.s[r.i:])
  r.i += int64(n)
  return
}

參考/推薦

詳解golang中bufio包的實(shí)現(xiàn)原理
Golang 超大文件讀取的兩個(gè)方案
https://gist.github.com/suntong/032173e96247c0411140

到此這篇關(guān)于談?wù)剬?duì)Golang IO讀寫的困惑的文章就介紹到這了,更多相關(guān)Golang IO讀寫內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！