圆月山庄资源网

谈谈对Golang IO读写的困惑
脚本专栏 2024/11/15 佚名
3 2
圆月山庄资源网 Design By www.vgjia.com

前言

Golang的IO读写提供了很多种方式，目前本人知道的有io库、os库、ioutil库、bufio库、bytes/strings库等。

虽然库多是一件好事，意味着选择性多，但让我困惑的一点是：什么场景下该用哪个库？ 为什么？

在给出结论前，我先想给出Golang内置IO库的项目结构，主要方便理解和引用：

# 只列举了核心的目录及文件
src:
 - bufio
  - bufio.go
 - bytes
  - buffer.go
  - reader.go
 - io
  - ioutil
   - ioutil.go
  - io.go
 - os
  - file.go
 - strings 
  - reader.go

1.io库属于底层接口定义库，其作用是是定义一些基本接口和一些基本常量，并对这些接口的作用给出说明，常见的接口有Reader、Writer等。一般用这个库只是为了调用它的一些常量，比如io.EOF。

2.ioutil库包含在io目录下，它的主要作用是作为一个工具包，里面有一些比较实用的函数，比如 ReadAll(从某个源读取数据)、ReadFile（读取文件内容）、WriteFile（将数据写入文件）、ReadDir（获取目录）

3.os库主要是跟操作系统打交道，所以文件操作基本都会跟os库挂钩，比如创建文件、打开一个文件等。这个库往往会和ioutil库、bufio库等配合使用

4.bufio库可以理解为在io库上再封装一层，加上了缓存功能。它可能会和ioutil库和bytes.Buffer搞混。
4.1 bufio VS ioutil库：两者都提供了对文件的读写功能，唯一的不同就是bufio多了一层缓存的功能，这个优势主要体现读取大文件的时候（ioutil.ReadFile是一次性将内容加载到内存，如果内容过大，很容易爆内存）

4.2 bufio VS bytes.Buffer：两者都提供一层缓存功能，它们的不同主要在于 bufio 针对的是文件到内存的缓存，而 bytes.Buffer 的针对的是内存到内存的缓存（个人感觉有点像channel，你也可以发现 bytes.Buffer 并没有提供接口将数据写到文件）。

5.bytes和strings库：这两个库有点迷，首先它们都实现了Reader接口，所以它们的不同主要在于针对的对象不同，bytes针对的是字节，strings针对的是字符串（它们的方法实现原理很相似）。另一个区别就是 bytes还带有Buffer的功能，但是 strings没提供。

注：关于Reader和Writer接口，可以简单理解为读取源和写入源，即只要实现Reader里面的Read方法，这个东西就可以作为一个读取源，里面可以包含数据并被我们读取；Writer亦是如此。

以上就是个人的一些结论，下面会针对以上结论做进一步说明，如果有错误的地方麻烦请留言指正，比心"color: #ff0000">窥探 io 库

io库比较常用的接口有三个，分别是Reader，Writer和Close。

// Read方法会接收一个字节数组p，并将读取到的数据存进该数组，最后返回读取的字节数n。
// 注意n不一定等于读取的数据长度，比如字节数组p的容量太小，n会等于数组的长度
type Reader interface {
  Read(p []byte) (n int, err error)
}

// Write 方法同样接收一个字节数组p，并将接收的数据保存至文件或者标准输出等，返回的n表示写入的数据长度。
// 当n不等于len(p)时，返回一个错误。
type Writer interface {
  Write(p []byte) (n int, err error)
}

// 关闭操作
type Closer interface {
  Close() error
}

关于 Read 方法的具体实现，可以在strings库中看到：

// 定义一个Reader接口体
type Reader struct {
  s    string
  i    int64 // current reading index
  prevRune int  // index of previous rune; or < 0
}

// 通过NewReader方法得到 reader 对象，这里有个关键的地方是传入的字符串被赋值到 s 变量中
func NewReader(s string) *Reader { 
 return &Reader{s, 0, -1} 
}

// Read方法： 核心是 copy 方法，参数b虽然是切片，但是copy方法会影响到它的底层数组
func (r *Reader) Read(b []byte) (n int, err error) {
  if r.i >= int64(len(r.s)) {
    return 0, io.EOF
  }
 r.prevRune = -1
 // 核心方法
  n = copy(b, r.s[r.i:])
  r.i += int64(n)
  return
}

窥探 ioutil 库

上面提到，ioutil 库就是一个工具包，里面主要是比较实用的函数，比如ReadFile、WriteFile等，唯一需要注意的是它们都是一次性读取和一次性写入，所以当读取的时候注意文件不能过大。

从文件读取数据：

func readByFile() {
  data, err := ioutil.ReadFile( "./lab8_io/file/test.txt")
  if err != nil {
    log.Fatal("err:", err)
    return
  }
  fmt.Println("data", string(data)) // hello world！
}

把数据写入到文件：

func writeFile() {
  err := ioutil.WriteFile("./lab8_io/file/write_test.txt", []byte("hello world!"), 0644)
  if err != nil {
    panic(err)
    return
  }
}

遍历目录：遍历目录有一个需要注意的是它的排序并不是自然排序方式。

窥探bufio库

bufio 库在上面也提到过，它主要是在io库上加了一层缓存的功能，以下是bufio读取大文件的例子：

func readBigFile(filePath string) error {
  f, err := os.Open(filePath)
  defer f.Close()

  if err != nil {
    log.Fatal(err)
    return err
  }

  buf := bufio.NewReader(f)
  count := 0
  for {
    count += 1
    line, err := buf.ReadString('\n')
    line = strings.TrimSpace(line)
    if err != nil {
      return err
    }
  fmt.Println("line", line)
  // 这里是避免全部打印
    if count > 100 {
      break
    }
  }
  return nil
}

注：

1.bufio 的ReadLine/ReadBytes/ReadString/ReadSlice： ReadString和ReadBytes等同，ReadBytes和ReadLine都调用了ReadSlice

窥探bytes/strings库

前面提过，就单纯实现Reader接口，bytes和strings底层函数的实现方式是差不多的，可以查看其源码得证：

// bytes/reader.go
// Read implements the io.Reader interface.
func (r *Reader) Read(b []byte) (n int, err error) {
  if r.i >= int64(len(r.s)) {
    return 0, io.EOF
  }
  r.prevRune = -1
  n = copy(b, r.s[r.i:])
  r.i += int64(n)
  return
}

// strings/reader.go
func (r *Reader) Read(b []byte) (n int, err error) {
  if r.i >= int64(len(r.s)) {
    return 0, io.EOF
  }
  r.prevRune = -1
  n = copy(b, r.s[r.i:])
  r.i += int64(n)
  return
}

参考/推荐

详解golang中bufio包的实现原理
Golang 超大文件读取的两个方案
https://gist.github.com/suntong/032173e96247c0411140

标签：
Golang,IO读写
圆月山庄资源网 Design By www.vgjia.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
圆月山庄资源网 Design By www.vgjia.com
www.vgjia.com 圆月山庄资源网
139,976互联网资源
144,792高清电影
21,817无损音乐
631,128技术资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接