解析包含“评论”标题块的 CSV 文件

Question

我正在尝试解析托管在远程位置的 CSV 文件，但令人讨厌的是，该文件在文件顶部包含一些自述文件 cmets，格式如下：

######
# some readme text,
# some more, comments
###### 
01-02-03,123,foo,http://example.com 
04-05-06,789,baz,http://another.com

我正在尝试使用以下代码来提取数据中的 URL，但由于顶部的 cmets，它会引发错误提示 wrong number of fields，可能是它试图将它们解析为 CSV 内容。

type myData struct {
  URL string `json:"url"`
}

func doWork() ([]myData, error) {
  rurl := "https://example.com/some.csv"
  out := make([]myData, 0)
  
  resp, err := http.Get(rurl)
  if err != nil {
    return []myData{}, err
  }

  defer resp.Body.Close()
  reader := csv.NewReader(resp.Body)
  reader.Comma = ','
  data, err := reader.ReadAll()
  if err != nil {
    return []myData{}, err
  }

  for _, row := range data {
    out = append(out, myData{URL: row[4]})
  }

  return out, nil
}

func main() {
  data, err := doWork()
  if err != nil {
    panic(err)
  }
  // do something with data
}

有没有办法跳过远程文件的前 N ​​行，或者让它忽略以 # 开头的行

Answer 1

好吧，方法很简单：不要试图将以“#”开头的行解释为 CSV 流的一部分；相反，将整个数据流视为两个流的串联：标头和实际的 CSV 负载。

最简单的方法可能是利用 bufio.Reader 能够从其底层流中读取行并且它本身是一个 io.Reader 的事实，因此您可以创建一个 csv.Reader 来从中读取 它 而不是源流。

所以，你可以这样滚动（不是真正的代码，未经测试）：

import (
  "bufio"
  "encoding/csv"
  "io"
  "strings"
)

func parse(r io.Reader) ([]MyData, error) (
  br := bufio.NewReader(r)

  var line string
  for {
    s, err := br.ReadString('\n')
    if err != nil {
      return nil, err
    }
    if len(s) == 0 || s[0] != '#' {
      line = s
      break
    }
  }

  // At this point the line variable contains the 1st line of the CSV stream.
  // Let's create a "multi reader" which reads first from that line
  // and then — from the rest of the CSV stream.
  cr := csv.NewReader(io.MultiReader(strings.NewReader(line), br))
  cr.Comma = ','
  data, err := cr.ReadAll()
  if err != nil {
    return nil, err
  }

  for _, row := range data {
    out = append(out, myData{URL: row[4]})
  }

  return out, nil
}

Answer 2

哦，其实我才意识到我可以添加这个：

reader.Comment = '#' // ignores the line starting with '#'

这与我当前的代码完美配合，但感谢其他建议。