在 Windows 10 上使用 f2py 和 Python 3.6 编译 fortran 模块

Question

我正在尝试（但失败）在 Windows 10 上使用 f2py 和 Python 3.6 编译一个 fortran 模块（特别是来自 BGS 的 igrf12.f）。Python 是使用 Anaconda 4.4.10 安装的。

我的设置：

• Python 3.6.3 |Anaconda 自定义（64 位）| （默认，2017 年 10 月 15 日， 03:27:45) [MSC v.1900 64 位 (AMD64)] 在 win32 上
• Windows 10 企业版（版本 1703）
• NumPy 1.14.0

我遵循了来自 SciPy documentation 的 f2py 指示和来自 Dr.Michael Hirsch 的非常 helpful guide 的指示。 Dr.Hirsch 创建了 pyigrf12 模块，但通过 pip 安装对我来说失败了，这也是我最初对 f2py 产生兴趣的原因。

我将概述我正在使用的一些方法。不管采用哪种方法，我总是首先使用f2py igrf12.f -m pyigrf12 -h igrf12.pyf 创建一个*.pyf 签名文件并适当地添加intent(in/out) 属性。

• 方法 1：使用 C:\MinGW 和 --compiler=mingw32
• 方法 2：使用 C:\MinGW 和 --compiler=msvc
• 方法3：使用anaconda版本的mingw和--compiler=mingw32
• 方法四：使用anaconda版本的mingw和--compiler=msvc

方法一：

作为背景，我在 C:\MinGW 有 MinGW，并且我已将 C:\MinGW\bin 添加到我的用户路径中。不幸的是，我没有安装这个版本的MinGW（我从同事那里继承了这台电脑），所以我不知道它的来源。 gcc --version 和 gfortran --version 是 5.3.0。

我运行f2py -c igrf12.pyf igrf12.f --compiler=mingw32。失败并显示以下错误消息：

Building import library (arch=AMD64):
"C:\Users\Sholes\AppData\Local\Continuum\anaconda3\libs\libpython36.a" 
(from C:\Users\Sholes\AppData\Local\Continuum\anaconda3\python36.dll)
    objdump.exe: C:\Users\Sholes\AppData\Local\Continuum\anaconda3\python36.dll: File format not recognized

Traceback (most recent call last):
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\Scripts\\f2py.py", line 28, in <module>
    main()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\f2py\f2py2e.py", line 648, in main
    run_compile()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\f2py\f2py2e.py", line 633, in run_compile
    setup(ext_modules=[ext])
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\core.py", line 169, in setup
    return old_setup(**new_attr)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\core.py", line 148, in setup
    dist.run_commands()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\dist.py", line 955, in run_commands
    self.run_command(cmd)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\dist.py", line 974, in run_command
    cmd_obj.run()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\command\build.py", line 47, in run
    old_build.run(self)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\command\build.py", line 135, in run
    self.run_command(cmd_name)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\cmd.py", line 313, in run_command
    self.distribution.run_command(command)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\dist.py", line 974, in run_command
    cmd_obj.run()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\command\build_ext.py", line 117, in run
    force=self.force)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\ccompiler.py", line 733, in new_compiler
    compiler = klass(None, dry_run, force)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 104, in __init__
    build_import_library()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 416, in build_import_library
    return _build_import_library_amd64()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 472, in _build_import_library_amd64
    generate_def(dll_file, def_file)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 302, in generate_def
    raise ValueError("Symbol table not found")
ValueError: Symbol table not found

问题似乎涉及从 python36.dll 构建 libpython36.a。

在谷歌快速搜索后，github forum for pywafo 的建议是使用 msvc 编译器而不是 mingw32，导致方法 2。

方法二： 作为背景，与我的 msvc 相关的文件是从C:\Program Files (x86)\Microsoft Visual Studio\2017\Community\VC\Tools\MSVC\14.10.25017\bin\HostX86\x64\ 中提取的。不确定这是否有帮助。

我运行f2py -c igrf12.pyf igrf12.f --compiler=msvc。这会产生两个文件：

• pyigrf12.cp36-win_amd64.pyd 在我当前的工作目录中，
• libigrf12.BMWM6WD5Y3O3UTOEQITBXCIICXVMBEZS.gfortran-win_amd64.dll 在.\UNKNOWN\.libs\

当我尝试 import pyigrf12 时，首先我收到 ImportError: DLL load failed: The specified module could not be found. 使用 Dependency Walker，我收到很多错误：

但最明显的问题与libigrf12.BMWM6WD5Y3O3UTOEQITBXCIICXVMBEZS.gfortran-win_amd64.dll 有关。我将这个 libigrf12 dll 文件移动到我当前的工作目录中，旁边是pyigrf12.cp36-win_amd64.pyd。

现在当我尝试import pyigrf12 时，我收到ImportError: DLL load failed: %1 is not a valid Win32 application.。一些 stackoverflow 帖子似乎表明这是 32 位 dll 和 64 位 Python 之间的冲突问题。 谁能提供对此的见解？经过更多搜索，我决定尝试使用 mingw 和 libpython 的 anaconda 版本。

方法三：

我运行 conda install mingw libpython，它安装了 mingw 4.7-1 和 libpython 2.1-py36_0。我运行f2py -c igrf12.pyf igrf12.f --compiler=mingw32，但它失败并显示以下错误消息：

Building msvcr library: 
"C:\Users\Sholes\AppData\Local\Continuum\anaconda3\libs\libvcruntime140.a" 
(from C:\Users\Sholes\AppData\Local\Continuum\anaconda3\vcruntime140.dll)
    objdump.exe: C:\Users\Sholes\AppData\Local\Continuum\anaconda3\vcruntime140.dll: File format not recognized
    Traceback (most recent call last):
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\Scripts\\f2py.py", line 28, in <module>
        main()
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\f2py\f2py2e.py", line 648, in main
        run_compile()
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\f2py\f2py2e.py", line 633, in run_compile
        setup(ext_modules=[ext])
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\core.py", line 169, in setup
        return old_setup(**new_attr)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\core.py", line 148, in setup
        dist.run_commands()
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\dist.py", line 955, in run_commands
        self.run_command(cmd)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\dist.py", line 974, in run_command
        cmd_obj.run()
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\command\build.py", line 47, in run
        old_build.run(self)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\command\build.py", line 135, in run
        self.run_command(cmd_name)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\cmd.py", line 313, in run_command
        self.distribution.run_command(command)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\dist.py", line 974, in run_command
        cmd_obj.run()
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\command\build_ext.py", line 117, in run
        force=self.force)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\ccompiler.py", line 733, in new_compiler
        compiler = klass(None, dry_run, force)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 107, in __init__
        msvcr_success = build_msvcr_library()
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 399, in build_msvcr_library
        generate_def(dll_file, def_file)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 302, in generate_def
        raise ValueError("Symbol table not found")
    ValueError: Symbol table not found

现在问题似乎与从 vcruntime140.dll 构建 libvcruntime140.a 有关。 objdump.exe 再次无法识别 dll 文件格式。

方法四：

我最后一次尝试是在安装了 anaconda 版本的 mingw 的情况下运行 f2py -c igrf12.pyf igrf12.f --compiler=msvc。对于这种情况，gfortran 失败并出现以下错误：

   C:\Users\Sholes\AppData\Local\Continuum\anaconda3\Scripts\gfortran.bat -Wall -g -Wall -g -shared 
..\..\..\AppData\Local\Temp\tmpugo__0q9\Release\igrf12.o -Lc:\users\sholes\appdata\local\continuum\anaconda3\mingw\lib\gcc\x86_64-w64-mingw32\4.7.0 -LC:\Users\Sholes\AppData\Local\Continuum\anaconda3\libs -LC:\Users\Sholes\AppData\Local\Continuum\anaconda3\PCbuild\amd64 -o C:\Users\Sholes\AppData\Local\Temp\tmpugo__0q9\Release\extra-dll\libigrf12.75XJA5DX6DTO7YIZ7X6ZHJYTRDCCYQYR.gfortran-win_amd64.dll -Wl,--allow-multiple-definition -Wl,--output-def,C:\Users\Sholes\AppData\Local\Temp\tmpugo__0q9\Release\libigrf12.75XJA5DX6DTO7YIZ7X6ZHJYTRDCCYQYR.gfortran-win_amd64.def -Wl,--export-all-symbols -Wl,--enable-auto-import -static -mlong-double-64

gfortran.exe: error: unrecognized command line option '-mlong-double-64'

此时，我只想知道是否可以使用我的设置和 f2py 创建 fortran 扩展。我没有在 Windows 上编译 C 或 fortran 扩展的任何背景，并且基于与 Windows 上 Python 3.6 scipy 和 numpy 安装问题相关的所有问题，这似乎是一个没有简单解决方案的常见问题。

任何反馈或见解将不胜感激。

Answer 1

终于搞定了。

短版：

确保对 64 位 Python 使用 64 位编译器（三重检查 mingw-w64 的构建）。对于 Windows 上的 f2py newb 来说，听起来并不那么明显。

加长版：

我卸载了我现有的 MinGW 副本（我怀疑它是 32 位版本），而是下载了 mingw-w64 7.2.0 from sourceforge 的特定 64 位版本，特别是 x86_64-7.2.0-release-posix-seh-rt_v5-rev1.7z。 This stackoverflow question 很有用。

我将“mingw64”文件夹解压缩并复制到我的 C: 驱动器 (C:\mingw64)。我将C:\mingw64\bin 添加到我的用户路径中。

我用conda uninstall mingw 卸载了MinGW 的anaconda 版本。请注意，仅当您之前使用 conda 安装过 MinGW 时才需要这样做。

运行f2py -c igrf12.pyf igrf12.f --compiler=mingw32（与igrf12.pyf在同一目录下，如何生成*.pyf文件见Scipy Documentation），pyigrf12.cp36-win_amd64.pyd被创建，没有任何错误。我终于可以成功import pyigrf12 并访问底层的 Fortran 子程序（例如 igrf12syn）。

注意，我也可以成功运行f2py -c igrf12.pyf igrf12.f --compiler=msvc，但是我必须手动将libigrf12....gfortran-win_amd64.dll（在.\UNKNOWN\.libs\中生成）复制并粘贴到与pyigrf12.cp36-win_amd64.pyd相同的目录中，以避免在ImportError: DLL load failed: The specified module could not be found.我的问题的strong>方法2。

只是重申一下：确保 C:\mingw64\bin 已添加到您的路径中！

顺便说一句，f2py 在 macOS Sierra 和 Ubuntu 上对我来说很轻松。如果上述方法仍然不适合您，我建议您在 Linux、macOS 或适用于 Linux 的 Windows 子系统上尝试。

Answer 2

我有同样的问题。最佳答案有很大帮助。我想添加一些关于缺少的 DLL 的 cmets。 Process Monitor 是帮助您找出缺少哪些 DLL 的有用工具。您只需要添加一个过滤器python.exe 并跟踪哪些DLL 加载失败。对我来说，缺少以下内容：

• libgcc_s_seh-1.dll
• libgfortran-5.dll
• libquadmath-0.dll
• libwinpthread-1.dll

我只需要将它们从我的MinGW工具链的bin/目录复制到python.exe的同一目录中

Answer 3

我遇到了同样的问题，尤其是方法 3 的 ValueError: Symbol table not found。

dsholes' answer 是解决方案，加上 2 个小问题：

• 卸载所有版本的minggw
• 下载mingw64（在我的情况下：x86_64-8.1.0-posix-seh-rt_v6-rev0），安装它
• 将mingw64/bin 添加到PATH
• 然后用f2py -c fortran_file.F90 -m module_name --compiler=mingw32 编译运行正常，可以在Python中正确导入：import module_name

但是：

1. 你的模块应该在安装 Mingw32 的同一个 windows 分区中编译。否则（mingw 在C:\ 下，我的项目在D:\ 下，由于未从一个分区读取相对路径到另一个分区，我收到以下错误：f2py target file 'C:\\...' not generated

2. 编译后的文件可能仍需要一些外部库。就我而言，mingw64\bin 中的 libquadmath-0.dll 是必需的，并且应该始终保留在 PATH 中。否则我会收到以下错误：ImportError: DLL load failed:。我最终确定了这些 dll 并将它们复制到我的项目中。