为 Google Search Appliance 索引 Youtube 视频答案

【问题标题】：Index Youtube videos for Google Search Appliance为 Google Search Appliance 索引 Youtube 视频
【发布时间】：2016-06-28 19:43:36
【问题描述】：

我们已成功使用 Youtube API 创建 GSA 所需的元数据和 URL xml 提要，并根据文档将其推送到我们的 Google Search Appliance

我们的问题是，我们知道您需要在管理控制台的 Content Sources > Web Crawl > Start and Block URLs 页面中放置一个起始 URL。如果我们输入 https://www.youtube.com 作为起始 url 和 https://www.youtube.com/watch?v=* 的跟随模式（看起来所有的 youtube 视频都跟随），GSA 将只索引来自提要的内容还是将它发送到 youtube.com 和索引一堆不属于我们频道的内容？我没有看到任何可以为视频指定频道的地方。

仅供参考，我们知道用于 YouTube 的 FishBowlSolutions 连接器，但试图避免使用 TomCat 启动另一台服务器来索引我们的 YouTube 视频。

【问题讨论】：

标签： youtube-api google-search-appliance

【解决方案1】：

您不应将 youtube-url 添加到您的起始 URL，而应仅添加到您的跟随模式。这样，爬虫就不会从上到下爬取Youtube，而是会爬取你在Feed中提供的URL。但是，如果 GSA 在爬取的页面上找到 URL，它显然也会爬取这些。一种选择是收紧跟随模式。当然，您可以在 Google 的 Adapter Framework 上开发 Youtube 连接器，这对 Java 开发人员来说并不难！

【讨论】：

【解决方案2】：

Google CSE Search

YouTube User Panel

我没有使用过 GSA（不过我正在使用它，这就是我找到您的帖子的方式），但我使用 Google 的 CSE 完成此操作的方法是专门为频道、用户或播放列表编制索引, 与一般的 youtube 相比，即：

youtube dot com/user/alltrapmusic

或：youtube dot com/channel/UC_ahy2GUec7EmbWF3LGxLhQ

或：youtube dot com/playlist?list=PLsHnWFR4n5jBFYdsclaKtdWQtf2Iu8bKZ

因此，在 CSE 中，我可以配置为仅搜索该用户、频道和播放列表，并仅返回在这三个中找到的结果（Google CSE 搜索链接）。

我只能假设 GSA 的工作方式相同（正如我所提到的，我没有使用 GSA 的经验）；如果没有，我很抱歉。

~芯片

附言- 为了找到您的 youtube 频道，请转到用户链接（YouTube 用户面板链接）；在那里您可以找到主页、视频、播放列表、频道等。希望对您有所帮助。

【讨论】：

谢谢@Chipleh，我们会试试看。

【解决方案3】：

对于希望使用 Youtube api 并将其视频推送到 GSA 的其他人，我们发现需要对提要进行一些更改。

feedtype 需要在 xml 中full。这告诉 GSA 它需要了解的有关内容的所有信息都在 xml 中，它不需要出去索引一个网址。

您需要在 xml 中有一个 <content> 节点。我们使用来自 Youtube api 的描述作为值。这就是在搜索结果中向用户显示的内容

记录上的

url 属性 需要是一个可以添加到 GSA 设置中的开始和阻止 URL 和关注模式的值，并且它必须是唯一的。这些实际上不需要存在，但 GSA 将在 xml 中使用此值来确定它是否应包含在索引中。我们使用了一个虚假的 url 并附加了来自 Youtube 视频 ID 的值以使其唯一

displayurl 属性将是显示在结果中的 url，因此它将具有实际的 youtube url。

启动和阻止 URL 应包含通用 url 属性值。对我们来说，这是假目录http://www.yourdomain.com/video/youtube/

Follow Pattern 应包含与起始 URL 匹配的要遵循的模式。由于我们在该目录中只有视频，因此我们可以将相同的值作为起始 URL。如果您指向一个真实的目录并且其中包含您不想索引的其他内容，您可能需要添加视频中常见的任何模式。

示例记录如下。一旦我们更新了我们的提要，添加了开始和阻止 URL，我们的视频就会出现在我们的搜索结果中。

<gsafeed>
    <header>
        <datasource>youtube</datasource>
        <feedtype>full</feedtype>
    </header>
    <group action="add">
        <record url="http://www.yourdomain.com/video/youtube/?VIDEOID" displayurl="https://www.youtube.com/watch?v=VIDEOID" mimetype="text/html">
            <content><![CDATA[DESCRIPTION]]></content>
            <metadata>
                <meta name="Title" content="TITLE OF VIDEO"></meta>
                <meta name="Published" content="2016-08-15T22:00:38.000Z"></meta>
                <meta name="PhotoURL" content="https://i.ytimg.com/.."></meta>
            </metadata>
        </record>
</group>
</gsafeed>

【讨论】：