【问题标题】:Web scraping for product details, not a list / table in UIPath网页抓取产品详细信息,而不是 UIPath 中的列表/表格
【发布时间】:2018-12-15 15:34:48
【问题描述】:

我有一种情况,我想抓取一家公司的资料,例如在一个页面上使用 20 / 30 个不同的属性布局,将这些元素中的每一个保存为列标题,然后在目录中分页并为每个元素构建一个表页面作为一行,列是各种数据点(在同一页面上都有不同的标签,但在不同的页面上是一致的)

现在我一直在经历复制文本和使用 UI 资源管理器查找元素的费力过程,与屏幕抓取向导相比,这是一个真正的痛苦。

下面是测试中的个人资料的链接例如,页面上的标签都是不同的,但是如果我想抓取另一个页面,标签将是相同的,因此可以分页并创建一个非常有价值的表格在所有这些公司中。

https://www.owler.com/company/tesla

参考:https://forum.uipath.com/t/web-scraping-for-details-not-a-list-table/68802

但这不是解决办法

【问题讨论】:

  • 你能分享一下你到目前为止所尝试的吗?
  • 这不是与编程相关的真正问题,而是对 UiPath 的功能要求。如果每个配置文件页面上的标签都相同,您不会创建一次抓取工作流,并且只创建一次吗?
  • uipath 中没有用于废弃单个匹配元素数据的选项。我看到了许多不同的解决方案,但没有找到正确的解决方案。
  • 请详细说明。当然,UiPath 可以从任何元素获取数据,例如 div、p 或 h2。举个例子——我用特斯拉的profile创建了页面,然后为BMW执行了机器人(注意在输出窗口中返回了Harald Kruger):imgur.com/a/U1B3MIV

标签: web-scraping uipath


【解决方案1】:

根据文档,您可以抓取任何结构化数据。

https://studio.uipath.com/docs/about-data-scraping

由于 owler 中的数据是结构化的,唯一阻碍您使用抓取向导获取所有公司的信息的问题是无法指示 下一步按钮 在网页中导航到下一个项目。

所以“在我看来”你应该以不同的方式处理这个问题。您可以尝试以下方法:

  1. 在 excel 文件或编排器队列中创建公司列表。
  2. 打开浏览器并登录(如有必要)
  3. 从 Excel 或队列中读取数据。
  4. 遍历项目和每个项目
  5. 通过附加 baseURL 导航到公司页面
    (https://www.owler.com/company) 公司名称来自
    excel 行/队列事务并使用导航到活动 (https://activities.uipath.com/docs/navigate-to) 转到该页面。
  6. 使用带有固定元素的锚基础活动 (https://activities.uipath.com/docs/anchor-base) 来获得所需的值。就像使用年收入标签作为获取年收入价值的锚一样。如果您能找到一个合适的锚点,它会为您提供更准确的结果,即使在样式更改的情况下,您的流程仍然可以正常工作。
  7. 将抓取的数据写入您的 excel 文件

如果你不知道从哪里开始,看看https://github.com/UiPath/ReFrameWork,我认为这是一个很好的起点。

【讨论】:

    【解决方案2】:

    由于数据不是标准数据表格式,因此提取数据表向导将无法在此处工作,正如您所发现的。也就是说,由于数据出现在不同公司的同一位置,因此可以使用动态选择器。例如,成立数据字段将始终位于此选择器包含的位置:

    -竞争对手、收入和员工 - Owler 公司简介' />

    -div>div>div>div>div>div>div>div>div>div>div>div>p' isleaf='1' tag='P' parentclass='右块' idx='1' />

    *注意我已将

    因此,页面可以更改为其他竞争对手,但在获取文本活动中使用的相同选择器将产生与竞争对手本身相对应的结果。

    这将是很多工作,因此最好评估这样做是否值得开发时间。如果您只是想熟悉界面,我会推荐一个更标准的数据表,可以很好地与向导一起使用,例如可以在这里找到:https://editor.datatables.net/

    这可能会不那么令人兴奋,因为向导会充分发挥作用。

    【讨论】:

      猜你喜欢
      • 2020-10-07
      • 1970-01-01
      • 1970-01-01
      • 2014-07-02
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-01-17
      相关资源
      最近更新 更多