我正在尝试使用来自美国农业部的数据：http://www.ars.usda.gov/Services/docs.htm?docid=23634
ASCII (8.6Mb) - 此文件包含 ASCII (ISO/IEC 8859-1) 中的 SR26 数据，分隔文件。这些表以关系格式组织，最适合与关系数据库管理系统 (RDBMS) 一起使用，这将允许您形成自己的数据库查询并生成自定义报告。
我不熟悉处理这样的数据，我想我想用 CSV 格式获取它，也许吧？但是，我可能会失去关系，所以也许我应该直接使用 PGSQL。不知道如何解决这个问题。
寻求指导，谢谢。
【问题讨论】：
标签： mysql ruby-on-rails postgresql ruby-on-rails-4 import
zip 包含许多文件：
inflating: DATA_SRC.txt
inflating: DATSRCLN.txt
inflating: DERIV_CD.txt
inflating: FD_GROUP.txt
inflating: FOOD_DES.txt
inflating: FOOTNOTE.txt
inflating: LANGDESC.txt
inflating: LANGUAL.txt
inflating: NUT_DATA.txt
inflating: NUTR_DEF.txt
inflating: sr26_doc.pdf
inflating: SRC_CD.txt
inflating: WEIGHT.txt
其中每一个似乎都是一种奇怪的几乎类似于 CSV 的格式，例如NUTR_DEF.txt:
~287~^~g~^~GALS~^~Galactose~^~2~^~2100~
~291~^~g~^~FIBTG~^~Fiber, total dietary~^~1~^~1200~
加上sr26_doc.pdf，文档。
因此，您需要在此处为数据库创建 SQL 表定义 - 每个输入文件使用一个表。为此，您需要 CREATE TABLE 命令；请参阅 PostgreSQL 文档。
PDF 的第 35 页应该对您有所帮助 - “图 1。美国农业部国家营养数据库标准参考文件之间的关系”。以下页面描述了文件格式，告诉您每列的含义。你可以根据这个描述写CREATE TABLE语句。
这是一个示例，FOOD_DES.txt（食物描述），第一个条目。
CREATE TABLE food_des (
"NDB_No" varchar(5) NOT NULL PRIMARY KEY,
"FdGrp_Cd" varchar(4) NOT NULL,
"Long_Desc" varchar(200) NOT NULL,
"Shrt_Desc" varchar(60) NOT NULL,
"ComName" varchar(100),
"ManufacName" varchar(65),
"Survey" varchar(1),
"Ref_desc" varchar(135),
"Refuse" smallint,
"SciName" varchar(65),
"N_Factor" NUMERIC(4,2),
"Pro_Factor" NUMERIC(4,2),
"Fat_Factor" NUMERIC(4,2),
"CHO_Factor" NUMERIC(4,2)
);
这是描述的相当字面的副本。这不是我设计桌子的方式
我使用NUMERIC 任意精度十进制浮点类型来确保非整数数值类型的准确性。如果性能比准确性更重要，您可以改用float4。
对于关系，您使用 FOREIGN KEY 约束 - 只需 colname coltype REFERENCES othertable(othercol) 就足以创建一个。
重要提示：我将列名双引号以保留与定义中相同的名称。这意味着您在引用它们时必须始终双引号，例如SELECT "NDB_No" FROM food_des; 。如果您不想这样，只需去掉双引号 - 或选择不同的名称。你不必拘泥于他们使用的笨拙的缩写列名，写起来也很合理：
CREATE TABLE food_description (
ndb_no varchar(5) NOT NULL PRIMARY KEY,
foodgroup_code varchar(4) NOT NULL,
long_description varchar(200) NOT NULL,
short_description varchar(60) NOT NULL,
common_name varchar(100),
manufacturer_name varchar(65),
等等。同样，如果您正在使用 Rails，则可以转换表定义以遵循 Rails 的约定，特别是如果您打算通过 Rails 进行数据加载。
如果这些文件是合理的、合理的分隔文件，那么您可以使用psql 命令\copy 或PgAdmin-III 的“导入”选项加载每个表。
它实际上是 CSV，他们刚刚决定使用完全奇怪的分隔符和引号字符。通过psql 导入：
\copy food_des FROM 'FOOD_DES.txt' (FORMAT CSV, DELIMITER '^', QUOTE '~');
或您用来与 PostgreSQL 对话的任何工具中的等价物。
结果是一个看起来很合理的表格：
craig=> select * from food_des limit 2;
NDB_No | FdGrp_Cd | Long_Desc | Shrt_Desc | ComName | ManufacName | Survey | Ref_desc | Refuse | SciName | N_Factor | Pro_Factor | Fat_Factor | CHO_Factor
--------+----------+----------------------------+--------------------------+---------+-------------+--------+----------+--------+---------+----------+------------+------------+------------
01001 | 0100 | Butter, salted | BUTTER,WITH SALT | | | Y | | 0 | | 6.38 | 4.27 | 8.79 | 3.87
01002 | 0100 | Butter, whipped, with salt | BUTTER,WHIPPED,WITH SALT | | | Y | | 0 | | 6.38 | 4.27 | 8.79 | 3.87
(2 rows)
同样，如果使用 Rails，您可以使用任何您想要的 Rails CSV 库并批量加载到模型中。
【讨论】：
使用来自 @craig-ringer 的提示，我创建了一个脚本来将原始 USDA 营养数据库文件迁移到 postgreSQL。
目前是不是很粗糙，但应该有助于入门。
在这里查看： https://github.com/rlucha/usda-nutrition-database-migration
【讨论】：
他们有该数据库的一个版本供 Microsoft 访问，如果你有它，你可以下载访问然后使用 Access To MySQL 转换为 MySQL。
【讨论】：