创建由设备搜索的 AJAX 类型链接列表答案

【问题标题】：Create list of AJAX type links to be googled by appliance创建由设备搜索的 AJAX 类型链接列表
【发布时间】：2014-06-20 17:31:21
【问题描述】：

我们有大量的网络内容，我们希望这些内容可供 Google Appliance 搜索，但我们有一个相当复杂的列表，其中列出了我们想要和不想要的内容。因为很多内容都类似于 AJAX，所以让 Google 进行搜索并不是解决方案。相反，我们有一个经典的 ASP 页面，它使用 Scripting.FileSystemObject 遍历我们所有的目录和文件，并排除/包含文件/文件夹，并在页面中生成大量超链接，然后 Google 可以查询。这个过程非常缓慢（20 分钟或更长时间），但现在我们可以在 Dot Net 服务器上移动这个过程。

我正在做一些探索，想知道人们可能会发现哪些解决方案对这类事情有用。我们正在探索 Microsoft.Web.Administration 和任何其他可以提高效率的方法，包括将结果列表写入 html 文件。

有这方面经验的人对如何解决这个问题有任何建议吗？

提前谢谢你。

【问题讨论】：

标签： c# asp.net ajax vb.net

【解决方案1】：

根据文档 https://developers.google.com/search-appliance/documentation/614/admin_crawl/Preparing#robotscs，设备服务器遵循 robots.txt。您应该能够访问站点的根目录并将其配置为禁止对特定文件夹或扩展名进行索引。

【讨论】：

谢谢。我们知道这一点，但这完全没有抓住重点。包括我们自己在内的许多人使用 AJAX 的原因是因为动态生成的内容 - 如果您正在寻找最终合并的内容，它不会很好地抓取。
你调查过crawljax.com吗？我不熟悉它，但它看起来可能是一个可能的解决方案。
谢谢。这是一个非常酷的工具。我们最终修改了 .asp 页面，并使用 robots.txt 向我们的 Google 设备添加了更多规则。
当然——希望对您有所帮助。经典 ASP 页面的替代方法可能是创建一个 .NET 控制台应用程序，以类似的方式迭代您的文件系统并生成 GAS 可以索引的静态 HTML 页面。根据我的经验，用于与文件系统交互的 .NET 类比 Scripting.FileSystemObject 更易于使用且更高效
这正是我想要的。我的假设是编译的应用程序会比 .asp 页面快得多。再次感谢您。