在 Go 中将 CSV 记录解组为结构

Question

如何将 CSV 文件中的记录自动反序列化/解组到 Go 结构中的问题。

例如，我有

type Test struct {
  Name string
  Surname string
  Age int
}

CSV 文件包含记录

John;Smith;42
Piter;Abel;50

除了使用“编码/csv”包读取记录然后做类似的事情外，是否有一种简单的方法将这些记录解组为结构

record, _ := reader.Read()
test := Test{record[0],record[1],atoi(record[2])}

Answer 1

有 gocarina/gocsv 以与 encoding/json 相同的方式处理自定义结构。 您还可以为特定类型编写自定义编组器和解组器。

例子：

type Client struct {
    Id      string `csv:"client_id"` // .csv column headers
    Name    string `csv:"client_name"`
    Age     string `csv:"client_age"`
}

func main() {
    in, err := os.Open("clients.csv")
    if err != nil {
        panic(err)
    }
    defer in.Close()

    clients := []*Client{}

    if err := gocsv.UnmarshalFile(in, &clients); err != nil {
        panic(err)
    }
    for _, client := range clients {
        fmt.Println("Hello, ", client.Name)
    }
}

Answer 2

似乎我已经完成了将 CSV 记录自动编组为结构（仅限于字符串和整数）。希望这会有用。

这里是游乐场的链接：http://play.golang.org/p/kwc32A5mJf

func Unmarshal(reader *csv.Reader, v interface{}) error {
    record, err := reader.Read()
    if err != nil {
        return err
    }
    s := reflect.ValueOf(v).Elem()
    if s.NumField() != len(record) {
        return &FieldMismatch{s.NumField(), len(record)}
    }
    for i := 0; i < s.NumField(); i++ {
        f := s.Field(i)
        switch f.Type().String() {
        case "string":
            f.SetString(record[i])
        case "int":
            ival, err := strconv.ParseInt(record[i], 10, 0)
            if err != nil {
                return err
            }
            f.SetInt(ival)
        default:
            return &UnsupportedType{f.Type().String()}
        }
    }
    return nil
}

如果有人需要这个实现，我会尝试创建 github 包。

Answer 3

你可以自己烤。也许是这样的：

package main

import (
    "fmt"
    "strconv"
    "strings"
)

type Test struct {
    Name    string
    Surname string
    Age     int
}

func (t Test) String() string {
    return fmt.Sprintf("%s;%s;%d", t.Name, t.Surname, t.Age)
}

func (t *Test) Parse(in string) {
    tmp := strings.Split(in, ";")
    t.Name = tmp[0]
    t.Surname = tmp[1]
    t.Age, _ = strconv.Atoi(tmp[2])
}

func main() {

    john := Test{"John", "Smith", 42}
    fmt.Printf("john:%v\n", john)

    johnString := john.String()
    fmt.Printf("johnString:%s\n", johnString)

    var rebornJohn Test
    rebornJohn.Parse(johnString)
    fmt.Printf("rebornJohn:%v\n", rebornJohn)

}

Answer 4

使用csvutil可以给列标题见example.

在你的情况下，这可能是：

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "os"

    "github.com/jszwec/csvutil"
)

type Test struct {
    Name    string
    Surname string
    Age     int
}

func main() {
    csv_file, _ := os.Open("test.csv")
    reader := csv.NewReader(csv_file)
    reader.Comma = ';'

    userHeader, _ := csvutil.Header(Test{}, "csv")
    dec, _ := csvutil.NewDecoder(reader, userHeader...)

    var users []Test
    for {
        var u Test
        if err := dec.Decode(&u); err == io.EOF {
            break
        }
        users = append(users, u)
    }

    fmt.Println(users)
}

Answer 5

解决问题的一个简单方法是使用JSON作为中间表示。

完成此操作后，您可以使用各种工具。

你可以...

• 直接解组到你的类型（如果都是字符串）
• 解组为

  map[string]interface{}

  ，然后进行任何必要的类型转换
• 解组 -> 转换类型 -> 重新编组 JSON -> 解组为你的类型

这是一个简单的通用编组函数，可以实现此流程...

pairToJSON := func(header, record []string) string {
    raw := ""
    for j, v := range record {
        if j != 0 {
            raw += ",\n"
        }
        raw += "\"" + header[j] + "\":\"" + v + "\""
    }
    raw = "{\n" + raw + "\n}"
    return raw
}

以上兼容

[]string

数据由标准csv库生成。