使用 NodeJS 读取 csv 并写入 mongodb

Question

我有一个很大的 csv，我需要读取 t 并插入到 mongodb

Csv 包含用户名、类别名称和策略名称。

需要使用类别 ID 和策略 ID 将用户插入用户集合。 CSV 仅提供类别名称和策略名称。所以我需要使用它的名称从集合中获取类别 ID。

如果类别名称不存在，则创建一个新类别并返回其 id。政策也是如此。

所以我尝试了

    fs.createReadStream('./data_sheet.csv')
    .pipe(csv())
    .on('data', async (row) => {
        // console.log(row)
        let res = await Category.findOneOrCreate({ name: row.cat.trim() });
        console.log(res)

    })
    .on('end', () => {
        console.log('CSV file successfully processed');
    });



categorySchema.statics.findOneOrCreate = async function findOneOrCreate(condition) {
try {
    const self = this
    let agent = await self.findOne(condition)
    console.log("condition")
    console.log(condition)
    console.log("agent")
    console.log(agent)
    if (agent) return agent._id
    else {
        agent = await self.create(condition)
        return agent._id
    }
} catch (e) {
    console.log(e)
}

}

这不能正常工作。这样做的正确方法是什么？

Answer 1

如果你的意思是不工作，数据没有出现在类别中，那么请确保你遵循正确的异步方法或提供更多信息。

有几件事要记住， 您可能需要为递归过程创建一个 cronjob

1. 将 csv 文件导入到 Object 数组中
2. 遍历对象以匹配类别 ID
3. 如果没有，则创建一个类别 ID
4. 返回主函数
5. 更新文档 [在这里您可以使用我们所做的第 2 步循环更新全部或一次更新一个]