在 luigi 中处理 unicode答案

【问题标题】：Handle unicode in luigi在 luigi 中处理 unicode
【发布时间】：2015-09-07 19:19:45
【问题描述】：

我有几个以 UTF-8 编码的文本文件。我正在用luigi 构建一个数据流，我想要的是将文件一个一个读入unicode字符串，清理它们，最后将它们写入一些新的UTF-8 文件。问题是在CleanText 类的run 方法中，我似乎无法将unicode 与luigi.LocalTarget 一起使用。任何想法将不胜感激！

顺便说一句，我需要使用 unicode 以标准化方式处理重音字符。这是我的代码：

import luigi
import os
import re

class InputText(luigi.ExternalTask):
    """
    Checks which inputs exist
    """
    filename = luigi.Parameter()

    def output(self):
        """
        Outputs a single LocalTarget
        """

        # The directory containing this file
        root = os.path.dirname(os.path.abspath(inspect.getfile(inspect.currentframe()))) + "/"
        return luigi.LocalTarget(root + self.filename)

class CleanText(luigi.Task):
    """docstring for CleanText"""
    input_dir = luigi.Parameter()
    clean_dir = luigi.Parameter()

    def requires(self):
        return [ InputText(self.input_dir + '/' + filename)
                for filename in os.listdir(self.input_dir) ]    

    def run(self):
        for inp, outp in zip(self.input(), self.output()):
            fi = inp.open('r')
            fo = outp.open('w')
            txt = fi.read().lower()#.decode('utf-8') ### <-- This doesnt work
            #txt = unicode(txt, 'utf-8') ### <-- This doesnt work either
            txt = self.clean_text(txt)
            print txt.decode('utf-8')[:100]
            print txt[:100]
            fo.write(txt.encode('utf-8'))
            fi.close()
            fo.close()

    def output(self):
        # return luigi.LocalTarget(self.clean_dir + '/' + 'prueba.txt')
        return [ luigi.LocalTarget(self.clean_dir + '/' + filename)
                for filename in os.listdir(self.input_dir) ]

    def clean_text(self, d):
        '''d debe ser un string en unicode'''
        d = re.sub(u'[^a-z0-9áéíóúñäëïöü]', ' ', d)
        d = re.sub(' +', ' ', d)
        d = re.sub(' ([^ ]{1,3} )+', ' ', d, )
        d = re.sub(' [^ ]*(.)\\1{2,}[^ ]* ', ' ', d)
        return d

【问题讨论】：

你解决了吗？如果不是，错误是什么样的？
没有错误。只是我不知道如何以特定格式从 luigi Target 读取。有什么想法吗？
那么当你尝试在没有被注释掉的注释行的情况下运行它会发生什么？
我已经改变了使用目标的方式，但问题仍然存在。我只是想知道你是否可以阅读某种格式或者你应该如何解码等等。
Luigi 不应该妨碍您进行的任何编码/解码，因为您不使用 Luigi 的任何方法来写入文件。所以我认为这更像是一个关于编码/解码的问题，而不是 Luigi。

标签： python unicode luigi

【解决方案1】：

我有一个类似的问题要写然后用 luigi 读取一个 unicode 文件。

我在 Github https://github.com/spotify/luigi/issues/790 上发现了这个关于 luigi.format 模块中的 MixedUnicodeBytesFormat 的内容。阅读源代码，我有一个UTF8 格式。您可以将format 参数传递给Target 实例。

import luigi
from luigi.format import UTF8

luigi.LocalTarget('/path/to/data.csv', format=UTF8)

这可能发生在def output(self) 方法中，因为它是Target。我想你也可以使用特定格式的luigi.file.LocalFileSystem。

希望对您有所帮助。

【讨论】：