我的 MySQL 数据库中有一个大表（大约 1000 万行），我需要将所有这些数据转换为 JSON 格式。对于较小的表，我会使用基本的connection.query("SELECT * FROM TABLE, function(err, results) {}); 语法。但是，我不想将整个表加载到内存中。
我注意到 mysql 模块具有“流式传输”行的能力 (https://github.com/felixge/node-mysql/#streaming-query-rows)，所以我想知道它是否仍将整个表加载到内存中，然后将每一行一一提供给我们，或者它是否真的一次只加载一行，所以整个表永远不会一次存储在内存中。
【问题讨论】：
标签： mysql sql node.js stream streaming
回答为时已晚，但对于 2021 年需要优化且耗时更少的解决方案的人来说
上述所有解决方案都很好，但有
解决方案：当用户对数据库进行 CRUD 操作时，例如在 put 请求中，维护一个同步的 JSON 文件
app.put('/product/:id', (res,req)=>{
// step 1 do update operation in db
// step 2 do update operation in JSON file
return res.send('OK 200')
})
所以下次用户请求JSON时，用户可以立即得到JSON文件
编码愉快:)
【讨论】：
按块加载数据。这里有一些工作示例。
var mysql = require('mysql');
var settings = {};
settings.host = "localhost";
settings.user = "root";
settings.password = "root";
settings.database = "dbname";
var pool = mysql.createPool(settings);
var countQuery = "SELECT count(*) as total FROM tbl";
var chunkSize = 1000;
pool.getConnection(function(err, connection) {
if (err) {
connection.release();
console.log("Error on getConnection:", err);
return;
}
connection.query(countQuery, {}, function(err, result) {
if (err) {
connection.release();
console.log("Error on getConnection:", err);
return;
}
if (result && result[0]) {
var totalRows = result[0]['total'];
console.log("Total rows in db:", totalRows);
var periods = Math.ceil(totalRows/chunkSize)
console.log("Total periods", periods);
var selectQuery = "SELECT * FROM tbl ORDER BY id DESC LIMIT ";
for(var i = 0; i < periods; i++) {
var offset = i*chunkSize;
var runQuery = selectQuery + offset + "," + chunkSize;
console.log(runQuery);
connection.query(runQuery, {}, function (err, results) {
if (err) {
console.log("Error on runQuery:", err);
return;
}
console.log("Data:", results);
});
}
connection.release();
}
});
});
【讨论】：
mysqldump -h source_host -u root -p --hex-blob source_db_name table_name | mysql -h target_host -u root -p target_db_name 从 CSV 导入时，如果您想更改数据，还可以通过节点流式传输 CSV，我正在使用 fast-csv 模块，它对我来说非常有用。请注意，您必须暂停 CSV 流并让数据库赶上，否则您将耗尽内存，因为 CSV 流比数据库写入快得多。
我首先想到的是动态分页。我相信你熟悉 mysql 的偏移量和限制，有了它，你可以控制你的查询。
【讨论】：