Fluentd 在日志中屏蔽私人数据答案

【问题标题】：Fleuntd Masking private data with in the logFluentd 在日志中屏蔽私人数据
【发布时间】：2018-09-26 21:28:53
【问题描述】：

[2018-09-20 08:25:21,635: ERROR/MainProcess] test[b48600fc-70d1-4f44-9b7a-1988c3ca5cc4] 引发意外：MaxRetriesExceededError("无法重试 test.api.tasks。 send_webhook[b43-23-24442-3sfa-23] args:(u'http://test.com/private_token=0101032030301', {'content-type': 'application/json'}, {'date_created': '2018-09-19T22:33: 57.602599', 'type': 'foo.created', 'data': {'status': 'settled', 'date_completed': '2018-09-20T02:25:17', 'target': {'merchant' ：无，'redeemable_target'：无，'电话'：无，'用户'：{'用户名'：u'tato'，'about'：''，'last_name'：u'Teette'，'display_name'：u 'ttead'，'test_count'：90，'is_active'：真，'is_group'：假，'trust_request'：无，'id'：'0000000100203'，'电话'：无，'profile_picture_url'：u'@987654322 @', 'first_name': u'Test', 'friend_status': None, 'is_blocked': False, 'email': None, 'identity': None, 'date_joined': '2015-08-19T11:16:36 '}, 'type': 'user', 'email': None}, 'audience': u'friends', 'actor': {'username': u'test', 'about': '', 'last_name ': u'test', 'display_name': u'Michael Bittinger'，'friends_count'：52，'is_active'：True，'is_group'：False，'trust_request'：无，'id'：'39219321939133333'，'phone'：无，'profile_picture_url'：u' https://test.teee.com/u/', 'first_name': u'testt', 'ttt_status': None, 'is_blocked': False, 'email': None, 'identity': None, 'date_joined': '2017-09-01T22:20 :12'}, 'note': u'\U0001f4bb\U0001f4b8', 'amount': 27.52, 'action': 'hit', 'date_created': '2018-09-20T02:25:17', 'date_remitted' : 无, 'id': '3213131333323', 'date_authorized': 无}}) kwargs:{}",)

大家好，上面的日志是我通过 fluentd 传递给 Elasticsearch 的。

我需要能够过滤“private_token:”，并确保将其屏蔽或替换为其他内容，使其看起来像这样。 "http://test.com/private_token=######'" 或 FluentD 的实际值以外的任何内容。

【问题讨论】：

标签： logging logstash fluentd

【解决方案2】：

当我想屏蔽密码时，我在 fluentd conf 文件中添加了一个具有以下 conf 的过滤器。

<filter **>
   @type record_transformer
    enable_ruby
    <record>
        message ${record["message"].gsub(/[Pp]assword*([^,])/,'****')}
     </record>
</filter>

【讨论】：