如何从网站获取 JS 链接答案

【问题标题】：how to get JS links from a website如何从网站获取 JS 链接
【发布时间】：2017-09-01 21:20:16
【问题描述】：

我必须获取网站的一些 URL，但没有典型的 <a href=""> 链接。

我已经发现用phantomJS来爬取一些JS内容和ajax结果等。

但我在抓取此页面时不知道如何获取页面的链接列表...

这是内容的结构：

我已经尝试使用 php 的 file_get_content() 和正常的 phantomJS() 请求来捕捉它，但没有任何帮助:(

你能给我一个提示吗？

【问题讨论】：

“但没有作为典型链接存在” 好的，这告诉我们它们不是什么。也许现在告诉我们他们是什么。
是的，您找不到任何 URL，因为页面的整个控制都在 JavaScript 点击事件之下。看看如何在 tr 中创建 Id。它由前缀和一些唯一的字符串 ID 组成。如果我能给你一些建议，让我们尝试查找并查看 js 文件。
您正在寻找 CSS 选择器语法 (developer.mozilla.org/en-US/docs/Web/CSS/CSS_Selectors) 或 XPath (developer.mozilla.org/en-US/docs/Web/XPath)
@spanky：好吧，抱歉：但它们不是空白文本......而且我认为在一些 js 代码块的深处可能有一些 ajax onclick 函数，其中包括真正的链接...... . 或者也许他们正在从这个 id="xxx" 生成链接，并且他们从这个 id="xxx" 的数据库中获取链接抱歉我不知道它到底...那是我的问题.... -.-
@ArturPoniedziałek: 好的谢谢这个提示，我会试一试，但是有太多的 js 文件:(

【解决方案1】：

首先查看 JS 重定向的内联标签。如果失败，请在标题中查找标签内的任何内容，如下所示：

<script async="" src="https://SOME-URL"></script>

如果将这些 URL 复制到浏览器中，则可以获取 JS 文件的纯文本。然后，您也可以在它们中搜索 JavaScript 重定向行为。

【讨论】：