【问题标题】:How to view/remove control characters from log file如何从日志文件中查看/删除控制字符
【发布时间】:2017-02-09 17:29:31
【问题描述】:

我手动将一个日志文件从 snort 上传到 hadoop,当我在 hadoop 中打开它时,它会以这种未知格式出现:

“···”

当我在 vi 中打开它时,它会以这种方式显示:

º^_'^@^@^A^A^H$ ^@^OàQ^FÉ-ü^W^C^C^Bô^@^@^@^@^@^@^@G/~f¬!®x^_5^N©^TÓ b$ ^Q5¦9^[ÍjEñ2×@£,æcÖjÃüá^Dá^A%^B¯·ìB?²* ýµ fÐvÈ^ETi͹m^BOæyá5«ÕÝ8S¨>à^^ûÝ^TüF~ùX4^Oá%·Ú3½^K^BdºrTKÅÌÄ_˱^_Ð^W^OF+¬ß+_6^Tÿ!L>²^GS]^OüsK^QzY^R]Âòß^D¯ §$ ^Aì#_Öv_Ú]ì^Z+2»8l åñ/^Ov$ î·N/e*7ôø/yâ|x^T©LUlç(óõ^R.÷Ë"ÔüB ^^E3^Q²¸mdRêúÝýÀóàzcr^Sa0^Q^LSïü{DJ¬»zÉ÷ð½Cxè^^ q^SÓ?´üÓv^LAâ3âò$¸ Æ(ÖÃ)óI65^^®|^Hnp~^?$ N¾ök\,ü«ßàÌ)^Bò£b^Qªãöûóþ¿^põyã+^^^^ Ü^@}o9"W Â·^UMϽ:ÕuGA.^\^RR^Q^X»æñÀóð;^T4IJ^WÅÝ^N!^ ºV{QYÁ0¸^Z^ú^T^U^[Nù¤JuCÐ0)N6å¾í'ᡨu=½tÝ §¨Dºÿ^PÓ^K95Ègõ8,»dÊÀA§ä^R+^Pɺ^Q3(°ëQÂÚIFÉ^NøÈÚ4gçTg9²iÛ ·Ñ1®^OMu^O²^YßÙ+^XÂ,^ZÊë8h+ú^@%ÚÃ\¹ ï¯#Lúy{ý!^Z'bH^Cù÷8;¾d=Aæ©}¸0LWß'L)×^@ Ï +ÈÔÓ×^Na^WG6^G¯iu¯ûÇd"{Ͻ¬^^^M=2Hr5ì1^ZÐ^A^WÌ #t'ý^Z^W¤öR´ÿ(ågójîÓßÈ+^_}ÆJXSJZNµãµ"ñqÖ(¤ -^SpÒ6b1ÅiU½opbã|^Bc¾g2^FÅC¶a÷¡^_Ï,¥g $ Å*yªu^G½'îwátA^T@Ë6_Xá^L^@y^@^@^@y^@^@^@HZ¶^úMÄn^«2´ ^H^@E^@^@k^@^@@^@?^Q¯ÄÀ¨^E^EÀ¨^Eh^@5@÷^@WUt@^ @^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^A^@^AÀ^L^@^E^@^A^@^@^K ^@^Q^Istar-mini^Dc10rÀ^PÀ.^@^A^@^A^@^@^@^M]$6_XD^ L^@^@^@^@^@^@^@HZ¶^úMÄn^«2´^H^@E^@^@w^@^@@^@? ^Q¯¸À¨^E^EÀ¨^Eh^@5<89>^@c¹n<õ<81><80>^@^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^\^@^AÀ^L^@^E^@^A^@^@^K<89>^@^Q^Istar-mini^Dc10rÀ^PÀ.^@^\^@^A^@^@^@^]^@^P*^C(<80>ñ^\^@<83>úΰ^L^@^@%Þ6_<9a>Xÿ§^M^@B^@^@^@B^@^@^@HZ¶^úMÄn^_«2´^H^@E^@^@4¥^Y@^@T^F?i^_^M]$À¨^Eh^A»<8c> 3Ȩ^S<96><96>å¾<80>^P^BtU¿^@^@^A^A^H$ ^FÊ^N<91>^@^OàQ6_<9a>X6ª^M^@l^@^@^@l^@^@^@HZ¶^úMÄn^_«2´^H^@E^@^@^¥^Z@^@T^F?>^_^M]$À¨^Eh^A»<8c> 3Ȩ^S<96><96>å¾<80>^X^BtØÜ^@^@^A^A^H$ ^FÊ^N<91>^@^OàQ^W^C^C^@%?@´ò5ãù<99>eË<98>óQ´ÚA<97>&µuî^NÞ^P:/×:âù7é<8e>,º¡Ñ6_<9a>XCª^M^@B^@^@^@B^@^@^@Än^_«2´HZ¶^úM^H^@E^@^@4h©@^@@^F<8f>ÙÀ¨^Eh^_^M]$<8c> ^A»<96><96>è·3Ȩ=<80>^P$ ºJC^@^@^A^A^H$ ^@^Oàd^FÊ^N<91>6_<9a>X^U^N^@B^@^@^@B^@^@^@HZ¶^úMÄn^_«2´^H^@E^@^@4¥^[@^@T^F?g^_^M]$À¨^Eh^A»<8c> 3Ȩ=<96><96>è·<80>^P^B^?Rd^@^@^A^A^H$ ^FÊ^N¾^@^OàQ6_<9a>X¨j^N^@}^A^@^@}^A^@^@HZ¶^úMÄn^_«2´^H^@E^@^Ao¥^\@^@T^F>+^_^M]$À¨^Eh^A»<8c> 3Ȩ=<96><96>è·<80>^X^B^?í^Z^@^@^A^A^H$ ^FÊ^N¾^@^OàQ^W^C^C^A6?@´ò5ãù<9a>a%YRimY78#<8c><95>$Wn<9b><85> 5^^í^?Âì<^F.÷óÉ^MØ<88>¯è<8c>deGÆ uR{û{Hì^R^Fv^]A¯<9b>öT¥^DF"úæ!·<90>º¤7I^Vy^CÏåºT^WÇé<ǧÐbÛ¦¾^@<85>^EãÞ"l^QiÂ<89>¼½^ü×A.ç1m²ÁÍ^]ùJªMwØ-?{<83>A0Bü~Ô½°ÜæÈú<9f>ðëªV<8d>^EA^Wú^Q*C+9ÙPÍy^Z><92>ó^[E¬y^]gótAº^E<8c>^MÕâ><9d>aÀ¶^@ñ>@«àÖç<97> a¼^E¤À¶Û½º5úé<8e>«Ñ^@Nwµ{ÆãÂM5å8&~^E»Áh·ÌÙ¼ ^[¦¢v^@àøo/´ús^¿>ofC^[KGGH^S0þü^QÃÕêÈ#Ú^B»¼c^GRv»Ù(Ѱ»· Yñ^KTPo^\ôÑ+×J¨2F6X¾j^N^@B^@^@^@B^@^@^@Än^«2´HZ¶^úM^H^@E^@^@4hª@^@@^FØÀ¨^Eh^^M]$ ^A» è·3È©x^P$ ¸HÐ^@^@^A^A^H$ ^@^Oàq^FÊ^N¾9_XFX^D^@L^@^@^@L^@^@^@Än^«2´HZ¶^úM^H^@E^@^ @>^Y¯@^@@^QBÀ¨^EhÀ¨^E^E»=^@5^@*9צ^A^@^@^A^@^@^@ ^@^@^@^Cwww^Hfacebook^Ccom^@^@^A^@^A9XÿY^D^@L^@^@^@L^@^@^@Än^ «2´HZ¶^úM^H^@E^@^@>^Y°@^@@^QAÀ¨^EhÀ¨^E^E^Uá^@5^@*C $%^A^@^@^A^@^@^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^\^@^A9X" ^D^@ª^@^@^@ª^@^@^@Än^«2´HZ¶^úM^H^@E^@^@h«@^ @@^FoÀ¨^Eh^^M]$ ^A»è·3È©x^X$ º,6^@^@^A^A^H$ ^@^Oâº^FÊ^N¾^W^C^C^@c^@^@^@^@^@^@^@H²ñÀ^QU:^LM8Ïãî·Àº DíZ©Tõà.$[À^Xðo·^Wg^E^^Ú^N^¬/z>Ëo¾t^UÕ^P'õR^FÑþÜâ^TjÚ Df(6¯GØúî%^X6Xòô^K¤»b`^!9X^^b^D^@^@^@ ^@^@^@^@HZ¶^úMÄn^«2´^H^@E^@^@w^@^@@^@?^Q¯¸À¨^E^EÀ ¨^Eh^@5»=^@cÊø¦^@^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^A^ @^AÀ^L^@^E^@^A^@^@^K^@^]^Istar-mini^Dc10r^Hfacebook^Ccom^@À.^@^A^@^A^@ ^@^@:^@^D^^M]$9_Xc^D^@^@^@^@^@^@^@HZ ¶^úMÄn^«2´^H^@E^@^@^@^@@^@?^Q¯¬À¨^E^EÀ¨^Eh^@5^Uá^@哦!^K$%^@^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^\^@^AÀ^L^@^E ^@^A^@^@^K^@^]^Istar-mini^Dc10r^Hfacebook^Ccom^@À.^@^\^@^A^@^@^@^[^@^ P*^C(ñ^\^@úΰ^L^@^@%Þ9Xd^D^@?^C^@^@? ^C^@^@Än^«2´HZ¶^úM^H^@E^@^C1h¬@^@@^FÙÀ¨^Eh^^M]$  ^A»é^_3È©x^X$ º^@^@^A^A^H$

可能是什么问题? 我应该在 hadoop 中使用特定的文件格式吗?

【问题讨论】:

    标签: hadoop format file-format logfile snort


    【解决方案1】:

    您的文件包含control characters 并且编辑器以不同的方式显示控制字符。

    在 vi 编辑器中打开您的文件,输入命令 :set list 。它将显示所有控制字符,然后您将控制字符替换为人类可读的字符。

    您可以尝试在 vi 中替换控制字符(%x001,%x002,%x00):

    :%s/\%x001/,/g
    

    或使用tr 命令替换

    tr '\001' ',' 输出文件名

    【讨论】:

    • 请看我对这个问题的编辑,我在 vi 中打开它,它像上面一样.. 我想将它转换为可读字符,我怎么能用 tr '\001' ' ,' output_file_name 命令?
    • ^@ 是 null 的控制字符。 tr '\00' '' 输出文件名
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-05-06
    • 2018-05-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-10-17
    相关资源
    最近更新 更多