带有修改的 HTTP 标头的 file_get_contents() 返回垃圾 html 输出答案

【问题标题】：file_get_contents() with modified HTTP headers returning garbage html output带有修改的 HTTP 标头的 file_get_contents() 返回垃圾 html 输出
【发布时间】：2012-03-26 18:12:27
【问题描述】：

下面的代码用于使用 php 的 SIMPLETHTMLDOM 解析器提取 html。

include('simple_html_dom.php');

$context = stream_context_create(array(
  'http'=>array(
    'method'=>"GET",                
    'header'=>"Accept: text/html,application/xhtml+xml,application/xml\r\n" .
              "Accept-Charset: ISO-8859-1,utf-8\r\n" .
              "Accept-Encoding: gzip,deflate,sdch\r\n" .
              "Accept-Language: en-US,en;q=0.8\r\n",
    'user_agent'=>"User-Agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.66 Safari/535.11\r\n"              
 )
)); 

$html = file_get_contents('http://www.nseindia.com/content/equities/cmbhav.htm', false, $context);
echo $html;

foreach($html->find('a') as $e) 
    echo $e->href . '<br>';

生成的输出是 Garbage html ：

‹µVßsâ6~Ï_¡s§¹ð2¹^:ìNˆÝ†)!ið=äéFØV"K>I˜pMÿ÷®lCšéÝKy@+í¾ý´òè]t}‘ÜÝÄä2¹š’›Oãéä‚x]J'qò¥Q5š=ŸÒxæ…G£ÜÂ À2,·ÂÙ<&]YsËÁ 8eŒ%ãœU©*·#ÚØ¦“Ù$×°<* ôRc<¢AóänÏ/ã8!v[B`áÑRÔâ&Õ¼´D0¹Z³Þ=«X³è£SuohªŠBÉåZ¦¦wo¼pD“o*¦ 7“88ÉTº.@Ú¢ókà[ålþÓ`[ÐæÀà,8yö_¸Pãí$ëŸHVñ³J÷XYÎXAð~Ö¤¬„÷ƒXŠÜ³óôTg/ "Wª×'ñÓSmÖgm‡€åJ’œÉL@¬µÒ'ò—»Ö’X½†áßdÃe¦6=%ÁéIðÒzH0«¸ÂìÍIgxô@>W¾|°´xäÃBÐ–5ãëèŽ,V©JÞËúççU0½â2ð‰Uå^n„ø*·¨j¦žÙ<ð±¾¯ˆt˜zùº.GxöjjìV AÅ _pÁívó,9$¥2H[%la”X[":zÐ/‡¤Ù´‘¿v5xô‡uªnÄ,}G6Ì3IÎÇÓ˜¤ „)YÊå ³](FÁ-—,Ëšåö4}ßÿÆ¿wÝî! 3V‘1²rn™¶†\‚†nõÿuÂ£æœ?ºÔí0p,³aQ{¡¤Åz“s ì_ÛÚ¬$8ó}R1ÁW2Àsï{O§7çQ4™ýŽ§t³ùÍùE3_ßFñ-.7ÕúøËi‹h°?øná£+%î…¬@ðdðáÅ^$Ì˜Àx3—&±¶ä˜‰ÃŸ¡óB‡ÇraÊaó&m§ÉU%¶Ž6//¼Ä™s Ç+;$;+l 5Ú6†Âg.VÙº¾PÎ9Üõ¸ïô/,—U»^1ý–Lp®æ·²ËÁ{3    ¤;:Z•±ms€6RâVÈ>ÈaÓñp˜à ¶BTs,¹uu‹Úzôý±M¢FñªÀKÄ¤ÅÞ]]ÐáAgÇíMèöiö*[ûN×Ç]±ÚJì@Î¹ÁfÈS&hüç§I2‰çôÔïŸÒ«ó[šþÏ8ºù_|$ªÞW^zï¶Ö@Â&ŒÔF Å2²ä—Hƒ¬CdD?ÿ‡\²ÅòÛ¹ ÑA.Ïø¤xÏ@¿Iè£7)à`pi¢¬Ét‰ÖÐæÄæ°gk0jB<=óšé4çºês>¿Ð.]Â¤Âhš ›\jvìÒ¦æ”S8>Ñºï9‰V÷±W åu»ixH-[à—º¸ÇÀÍ‡Å?§m2“

我在哪里做错了！我检查了提琴手的标题信息。这些是使用浏览器打开链接时的实际标题信息！

[Client]
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.3
Accept-Encoding: gzip,deflate,sdch
Accept-Language: en-US,en;q=0.8
User-Agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.66 Safari/535.11
[Transport]
Host: www.nseindia.com
Proxy-Connection: keep-alive

【问题讨论】：

只是一个疯狂的猜测：垃圾可能是压缩后的 html。尝试删除 HTTP-Header “Accept-Encoding.....”。是纯文本nao吗？
它看起来像编码数据。也许你应该删除"Accept-Encoding: gzip,deflate,sdch\r\n" 这样你就不会得到压缩的内容，或者你可以使用 zlib 函数自己解压缩它。哦@henchman 更快:)
感谢@piotrekkr .. 成功了
谢谢，你应该把它作为答案！ V有用

标签： php dom http-headers file-get-contents garbage

【解决方案1】：

在 HTTP 请求中，您明确声明可以处理压缩数据，这就是服务器返回的内容：

Accept-Encoding: gzip,deflate,sdch\r\n

您现在必须解码该压缩数据：

$html = gzuncompress($html);

正如piotrekkr 在评论中提到的那样，您也可以删除Accept-Encoding 标头，而网络服务器应该返回纯文本。

【讨论】：