【问题标题】:bash script to send request to url and re-writing the result urlbash 脚本向 url 发送请求并重写结果 url
【发布时间】:2015-04-05 21:23:28
【问题描述】:

我正在尝试编写 bash 脚本,我可以将请求发送到网站并在 Url 中重写结果,首先这里是结果

<id>510</id>
<Title> bla bla </Title>
<Desc />
<ImagePath>http://www.example.com/images/510.jpg</ImagePath>
<Url>http://www.example.com/510_</Url>
<rtl>false</rtl>
<partCount>4</partCount>

在上面的结果中,我想更改 url 的结尾并期望它是

 <Url>http://www.example.com/510_1.zip</Url>
 <Url>http://www.example.com/510_2.zip</Url>
 <Url>http://www.example.com/510_3.zip</Url>
 <Url>http://www.example.com/510_4.zip</Url>

基于

<partCount>4</partCount>  

所以

<partCount> 

将有不同的数字,并基于此将更改 URL 路径 这是我的脚本

for ID in {44..4444};
do
MC=$(cat <<EOM
<?xml version="1.0" encoding="utf-8"?>
<soap:Envelope xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
<id>$ID</id>
</OrM>
 </soap:Body>
 </soap:Envelope>
EOM
)

for num in {1..4}; do

res=$(curl -sL -d "$MC" "http://www.example.com/ne/eService.asmx" | xmllint  --format - | 
egrep -v 'Desc|rtl' | sed -e "s/_/_$num.zip/g" > tmp.tmp)


cat tmp.tmp

【问题讨论】:

    标签: bash curl sed grep


    【解决方案1】:

    那么,XSLT 来救场了。请注意,XSLT 会让您患上眼癌——语法很糟糕,但它是为这类东西而生的。在任何情况下,结果都将比使用 awk 或 sed 处理 XML 的任何尝试更加稳健。

    我们将编写一些 XSLT 代码(我稍后会讲到),将其放入文件 urlexplode.xsl,然后我们可以使用几乎所有的 XSLT 处理器来应用转换。例如,xalan:

    curl -sL -d "$MC" "http://www.example.com/ne/eService.asmx" | xalan -xsl urlexplode.xsl
    

    代码是

    <?xml version="1.0" encoding="UTF-8"?>
    <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
      <xsl:template match="@*|node()">
        <xsl:copy>
          <xsl:apply-templates select="@*|node()"/>
        </xsl:copy>
      </xsl:template>
    
      <xsl:template match="Url">
        <xsl:call-template name="urlexplode">
          <xsl:with-param name="count"   select="ancestor::*/partCount"/>
          <xsl:with-param name="urlstub" select="text()"/>
        </xsl:call-template>
      </xsl:template>
    
      <xsl:template name="urlexplode">
        <xsl:param name="count"  />
        <xsl:param name="urlstub"/>
    
        <xsl:if test="$count > 0">
          <xsl:call-template name="urlexplode">
            <xsl:with-param name="count"   select="$count - 1"/>
            <xsl:with-param name="urlstub" select="$urlstub"  />
          </xsl:call-template>
    
          <Url><xsl:value-of select="$urlstub"/><xsl:value-of select="$count"/>.zip</Url>
          <xsl:text>&#xa;    </xsl:text>
        </xsl:if>
      </xsl:template>
    </xsl:stylesheet>
    

    可怕,不是吗?幸运的是,可怕的是所有语法;它比看起来简单得多。让我们分块进行。我们有三个模板(想想 XSLT 中的模板,就像其他语言中的函数一样)。第一个是

      <xsl:template match="@*|node()">
        <xsl:copy>
          <xsl:apply-templates select="@*|node()"/>
        </xsl:copy>
      </xsl:template>
    

    这是一个身份模板;本质上是一个包罗万象的处理程序,它逐字复制与另一个模板不匹配的所有内容,并在执行过程中递归地应用模板。它在那些我们不想更改的地方保持 XML 的完整性。

      <xsl:template match="Url">
        <xsl:call-template name="urlexplode">
          <xsl:with-param name="count"   select="ancestor::*/partCount"/>
          <xsl:with-param name="urlstub" select="text()"/>
        </xsl:call-template>
      </xsl:template>
    

    适用于Url 标签。我们没有逐字复制这些内容,而是从祖先节点中选择 partCount 和 Url 标记内的文本,然后将整个内容传递给 urlexplode 模板,该模板将完成实际工作。

      <xsl:template name="urlexplode">
        <xsl:param name="count"  />
        <xsl:param name="urlstub"/>
    
        <xsl:if test="$count > 0">
          <xsl:call-template name="urlexplode">
            <xsl:with-param name="count"   select="$count - 1"/>
            <xsl:with-param name="urlstub" select="$urlstub"  />
          </xsl:call-template>
    
          <Url><xsl:value-of select="$urlstub"/><xsl:value-of select="$count"/>.zip</Url>
          <xsl:text>&#xa;    </xsl:text>
        </xsl:if>
      </xsl:template>
    

    最后,这会为Url 节点生成替换内容。它递归地调用自己paramCount 次,然后生成一个新的Url 节点,其文本由我们从原始节点获取的url 存根、当前计数器和.zip 组成。它还添加了一个换行符(&amp;#xa; 的东西),这对于保持 XML 的有效性并不是绝对必要的,但使它更易于阅读。

    这可以在 XSLT 2.0(它具有更强大的循环结构)中更简单地完成,但没有任何东西支持 XSLT 2.0,所以我们坚持使用旧方法。

    【讨论】:

    • 听起来不错,但是我是托管服务器上的用户并且找不到 xalan 的问题,并且无法安装它...我必须使用默认工具,例如 bash、grep、wget、curl , egrep, sed, tr 等
    • 没有xalan? xsltproc、xmlstarlet、撒克逊呢? Perl 和 cpan,如果一切都失败了?用 awk 和 sed 解析 XML 会很痛苦;当我说你想避免它时相信我。
    • 是的,除了 xmllint 以及 Perl 和 cpan 之外,其他都不存在
    • 那么我的建议是使用 cpan 将XML::LibXSLT 安装到您的主目录(的子目录),并使用this article 底部的脚本变体来处理它。给我一点时间来适应它。
    • 啊,该死的——XML::LibXSLT 需要 libxml2 和 libxslt,它们可能也没有安装(是吗?)。我需要考虑一下。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多