bash 脚本 - 仅从电子邮件列表中获取唯一域到变量

Question

我是 bash 新手，在理解如何完成此操作时遇到问题。

检查所有“收件人：”字段电子邮件地址域并将所有唯一域列出到变量以将其与域进行比较。

我通过使用

获得“发件人地址”域

grep -m 1 "From: " filename | cut -f 2 -d '@' | cut -d ">" -f 1

读取存储在文件filename中的邮件时。

对于“to address”域，可以有多个 To: 地址和多个域。我不确定如何从“到地址字段”获取唯一域。

地址行示例如下：

To: user@domain.com, user2@domain.com, 
    User Name <sample@domaintest.com>, test@domainname.com

grep -m 1 "^To: " filename | cut -f 2 -d '@' | cut -d ">" -f 1

但有不同格式的电子邮件。所以我不确定grep是否正确，或者我是否应该搜索awk或其他东西。

我需要从“收件人：”字段电子邮件地址/地址获取唯一域列表到 bash 脚本中的变量。

上述示例所需的输出：

domain.com,domaintest.com,domainname.com

Answer 1

如果您一心想要使用面向行的实用程序来执行此操作，那么 Procmail 发行版中有一个实用程序 formail 可以在一定程度上为您标准化。

bash$ formail -czxTo: <<\==test==
> From: me <sender@example.com>
> To: you <first@example.org>,
>    them <other@example.net>
> Subject: quick demo
>
> Very quick, innit.
> ==test==
first@example.org,    other@example.net

这样你就有了输入，你实际上可以传递给grep或Awk ...或sed。

fromdom=$(formail -czxTo: <message | tr ',' '\n' | sed 's/.*@//')

From: 地址不会被formail -czxFrom: 标准化，但您可以使用一个巧妙的技巧：让formail 生成对From: 地址的回复，然后从中提取To: 标头。

todoms=$(formail -rtzcxTo: <message | sed 's/.*@//')

更详细地说，-r 说要创建一个新的回复给给你发信 message 的人，然后我们在 上做 -zcxTo:。

(-t 选项可能会也可能不会做你想做的事。在这种情况下，我可能会省略它。http://www.iki.fi/era/procmail/formail.html 有（模糊的）文档说明它的作用；另请参阅http://www.iki.fi/era/procmail/mini-faq.html#group-writable 之前的部分并且对于笨拙的链接感到抱歉——似乎没有一个好的页面内部锚可以链接到。）

Answer 2

电子邮件地址规范化很棘手，因为有很多变体可供选择。

From: Elvis Parsley <king@graceland.example.com>
From: king@graceland.example.com
From: "Parsley, Elvis" <king@graceland.example.com> (kill me, I have to use Outlook)
From: "quoted@string" <king@graceland.example.com> (wait, he is already dead)
To: This could fold <recipient@example.net>,
   over multiple lines <another@example.org>

我会转向一种功能更强大的语言，并适当支持解析所有这些格式。我的选择是 Python，尽管你也可以用几行 Ruby 或 Perl 来完成。

email 库在 Python 3.6 中进行了改进，因此假设您至少拥有该版本。 3.6 中新增的email.Headerregistry 类在这里特别方便。

#!/usr/bin/env python3

from email.policy import default
from email import message_from_binary_file
import sys

if len(sys.argv) == 1:
    sys.argv.append('-')

for arg in sys.argv[1:]:
    if arg == '-':
        handle = sys.stdin
    else:
        handle = open(arg, 'rb')

    message = message_from_binary_file(handle, policy=default)
    from_dom = message.get('From').address.domain
    to_doms = set()
    for addr in message.get('To').addresses:
        dom = addr.domain
        if dom == from_dom:
            continue
        to_doms.add(dom)
    print(','.join([from_dom] + list(to_doms)))

    if arg != '-':
        handle.close()

这只是生成一个以逗号分隔的域名列表；您可能还想在 Python 中进行其余的处理，或者更改它以使其以稍微不同的格式打印。

您可以将它保存在一个方便的地方（例如，/usr/local/bin/fromto）并将其标记为可执行文件（chmod 755 /usr/local/bin/fromto）。现在您可以像 grep 等任何其他实用程序一样从 shell 调用它。