【问题标题】:MsBuild Compile and build dependencies in parallelMsBuild 并行编译和构建依赖项
【发布时间】:2015-08-25 18:19:46
【问题描述】:

我正在开发一个包含大量项目的大型 C++ 解决方案。

其中一些是构建瓶颈,其中 dll 依赖于另一个需要永远构建的 dll。

我有很多 CPU 要构建,但我无法让 MSBuild 并行编译(而不是链接)所有内容,并且只能在链接时使用依赖项。

我基本上想在每个项目上都有:

# build objects
msbuild /t:BuildCompile project.vcxproj

# only now build/wait for dependencies
msbuild /t:ResolveReferences;BuildLink project.vcxproj

我希望以上内容作为单个构建的一部分(级联到依赖项目)。

我一直在尝试弄乱 MSBuild 目标构建命令:

<PropertyGroup>
  <BuildSteps>
    SetBuildDefaultEnvironmentVariables;
    SetUserMacroEnvironmentVariables;
    PrepareForBuild;
    InitializeBuildStatus;
    BuildGenerateSources;
    BuildCompile;

    ResolveReferences;

    BuildLink;
  </BuildSteps>
</PropertyGroup>

不起作用,此设置中的 Resolve Dependencies 不会构建依赖项目。

有什么想法吗?只有链接器实际上依赖于引用的项目,而 objs 不。

【问题讨论】:

  • 并行编译所有内容everything是什么意思?无论如何,使用默认选项(打开多处理器编译,即编译器的 /MP 开关)并通过将 /m 传递给 msbuild,msbuild 在这里完全最大化 CPU 并同时运行 20 个 cl 进程。我不认为它会比这更好。
  • @Troopers 是的,我试过/m,这会让它并行编译依赖,但是编译当前项目中的cpp会等到所有依赖都编译完。
  • @stijn 我想让 MSBuild 在编译依赖项的同时编译当前项目的 cpps,但是等待链接直到所有依赖项目都完成(即库可用于链接) .

标签: c++ msbuild


【解决方案1】:

这是一个可能的解决方案:首先通过从解决方案文件中“解析”它们来获取所有项目的列表。如果您已经有该列表,则不需要。然后为所有项目调用 msbuild 两次,一次使用 BuildCompile 目标,然后使用 Build 目标。我特别选择了 Build 目标(它将跳过编译,因为它已经完成了),因为我不确定您提出的仅调用 ResolveReferences 和 Link 目标的解决方案将在所有情况下成功构建,例如它可能会跳过资源编译,跳过自定义构建步骤等。

<?xml version="1.0" encoding="utf-8"?>
<Project ToolsVersion="12.0" xmlns="http://schemas.microsoft.com/developer/msbuild/2003" DefaultTargets="Build">
  <ItemGroup>
    <AllTargets Include="BuildCompile;Build" />
  </ItemGroup>
  <Target Name="Build">
    <ReadLinesFromFile File="mysolution.sln">
      <Output TaskParameter="Lines" ItemName="Solution" />
    </ReadLinesFromFile>

    <ItemGroup>
     <AllProjects Include="$([System.Text.RegularExpressions.Regex]::Match('%(Solution.Identity)', ', &quot;(.*\.vcxproj)&quot;').Groups[ 1 ].Value)"/>
    </ItemGroup>

    <MSBuild BuildInParallel="true" Projects="@(AllProjects)"
             Properties="Configuration=$(Configuration);Platform=$(Platform)"
             Targets="%(AllTargets.Identity)"/>
  </Target>
</Project>

调用喜欢

msbuild mybuild.proj /p:Configuration=Debug;Platform=Win32

我很想知道这是否会缩短您的构建时间。

edit 因为您看到的是完全重建的样子,所以 BuildCompile 目标可能只有在 BuildSteps 中的其他目标也运行时才能正常工作。您可以尝试显式拆分构建:

<MSBuild BuildInParallel="true" Projects="@(AllProjects)"
         Properties="Configuration=$(Configuration);Platform=$(Platform)"
         Targets="SetBuildDefaultEnvironmentVariables;
                  SetUserMacroEnvironmentVariables;
                  PrepareForBuild;
                  InitializeBuildStatus;
                  BuildGenerateSources;
                  BuildCompile;"/>

<MSBuild BuildInParallel="true" Projects="@(AllProjects)"
         Properties="Configuration=$(Configuration);Platform=$(Platform)"
         Targets="Build"/>

【讨论】:

  • 谢谢,这是正确的方向。出于某种奇怪的原因,尽管它在“构建”步骤期间重建了所有 cpp。
  • 嗯,不应该这样做,除非它们没有被构建,我这里也没有问题。见编辑。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-07-31
  • 1970-01-01
  • 2012-07-16
相关资源
最近更新 更多