Youtube 视频描述刮刀

Question

我目前正在使用 Youtube 抓取工具从特定视频（音乐封面）中获取描述，并且描述具有我需要的网址（例如，Facebook/用户名）。现在 scraper 提取了整个描述，但我只需要 Facebook 链接。

有人可以创建这样的刮板吗？可能是一个“Scraper”，我在其中输入 10,000 个 Youtube 视频 URL，然后从这些 URL 中提取 Facebook URL 并将它们粘贴到每个新行的文本文档中？

我在这里找到了这个与我需要做的非常相似的主题，但我只需要 Facebook URL。 Save description of a number of youtube videos

Answer 1

class Namespace_Youtubecrawler_IndexController extends Mage_Core_Controller_Front_Action
{

    public function indexAction()
    {
        //this $hashes array, populated by youtube_videos_only_hash.txt, contains youtube identifiers.
        $hashes = array_unique(explode("\n", file_get_contents(Mage::getBaseDir('var') . DS . 'youtube_videos_only_hash.txt')));
        foreach ($hashes as $hash) {
            $json = json_decode(file_get_contents('http://gdata.youtube.com/feeds/api/videos/' . $hash . '?v=2&alt=json'), true);
            $description = $json['entry']['media$group']['media$description']['$t'];
            //if page contains bit.ly or pagesize with the description then the video's URL is logged in custom log file.
            if ((strpos($description, 'pgsize') !== false) || (strpos($description, 'bit.ly') !== false)) {
                $outdatedURL = 'http://www.youtube.com/watch?v=' . $hash;
                Mage::log($outdatedURL, null, 'outdatedURLs.log', true);
            }
        }
    }
}

在我收集了要检查的 URL 列表后，使用一些快速的 Excel 函数，我将这些 URL 分解为它们的组成标识符（youtube 视频 URL 末尾的哈希对应于它在 youtube 上的“位置”）。

然后我使用了 youtube 的原生 JSON 编码页面（示例）：

http://gdata.youtube.com/feeds/api/videos/oHg5SJYRHA0?v=2&alt=json&prettyprint=true

然后上面检查某些参数的描述。我相信您可以轻松地对其进行修改以识别 Facebook 网址。找到参数后，它会重新组合 youtube URL 并将其记录下来（在本例中是在我们的服务器上）。