使用 Panda 数据框创建多个 .txt 文件并将其保存为 .csv 文件

Question

我有多个 txt 文件，我想将其用作数据框。我想将标题用作列名，将其他文本用作行。类似的文本文件是：

PPR-SP



FÁBIO MEIRELLES


Biografia



Profissões: Fazendeiro; Empresário






Mandatos (na Câmara dos Deputados):
 Deputado(a) Federal - 1991-1995, SP, PDS, Dt. Posse: 01/02/1991.



Proposições de Autoria do Deputado




Proposições de Autoria do Deputado Transformadas em Norma Jurídica




Proposições Relatadas pelo Deputado




Proposições Relatadas Transformadas em Norma Jurídica



Licenças:
Licenciou-se do mandato de Deputado Federal, na Legislatura 1991-1995, por 13 dias, para tratamento de saúde, a partir de 01 de janeiro de 1994; por 15 dias, a partir de 30 março de 1993; por 17 dias, a partir de 14 de abril de 1993. 
Atividades Parlamentares:
CÂMARA DOS DEPUTADOS - Legislaturas anteriores à 54ª:COMISSÕES PERMANENTES: Agricultura e Política Rural: Segundo Vice-Presidente, 1993, Titular, 1991-1992, e 1994;  Constituição e Justiça e de Redação: Suplente, 1994; Defesa Nacional: Titular, 1991-1993, 1994, e Suplente, 1991;  Economia, Indústria e Comércio: Suplente, 1991-1992; Minas e Energia: Titular 1993;  COMISSÕES ESPECIAIS:Crimes de Responsabilidades do Presidente, da República: Suplente, 1992; PEC nº 56/91,  Desregulamentação da Economia: Proimeiro Vice-Presidente, 1992. CPIs: Violência no Campo: Titular, 1992; COMISSÕES EXTERNAS: Para representar a Câmara dos Deputados a Câmara dos Deputados nas cerimônias fúnebres do sepultamento do desportista Aírton Senna, 1994CONGRESSO NACIONAL: Comissão Mista Que Examinou a Medida Provisória N.295/91: Membro, 1991;  CPI Mista Companhia Nacional de Abastecimento: Titular, 1992.
Atividades Profissionais e Cargos Públicos:
Membro, Junta Administrativa do IBC  e da Comissão de Organização de Feiras Agropecuárias do Estado de São Paulo, 1961-1967; Subchefe de Gabinete, Ministério da Agricultura 1964; Secretário Executivo, Fundo Agropecuário do Ministério da Agricultura 1964; Secretário, Comissão de Política e Planejamento Agrícola do Ministério da Agricultura, 1964; Presidente, BNCC, 1964; Presidente, Instituto do Café, SP, 1973-1979; Vice-Presidente Executivo, GEDPA, SP, 1979; Diretor de Operações Rurais e Agroindustriais, BADESP, 1979-1983; Secretaria de Agricultura e Abastecimento de São Paulo, 1986-1988..
Atividades Sindicais Representativas de Classe Associativas e Conselhos:
Presidente, Associação Rural do Vale do Sapucaí, 1960-1961; Diretor, Federação das Associações Rurais do Estado de São Paulo, 1961-1963; Presidente, Associação Rural de Franca, SP, 1962-1965; Presidente, FAESP, 1975-1978, 1978-1981, 1981-1984, 1984-1987, 1987-1990 e 1990-1993; Vice-Presidente, CNA, 1982-1985, 1985-1987 e 1987-1990; Membro, Junta Administrativa do IBC, 1961-1967; Membro, Comissão de Organização de Feiras Agropecuárias do Estado de São Paulo, 1961-1967; Membro, Junta Consultiva do IBC, 1984; Representante Classista, Confederação Nacional da Agricultura, 1984; Primeiro-Vice-Presidente, CNA, 1985-1987; Membro, UBE, 1987; Representante da FAESP junto à CNA; Título de Presidente, Associação Brasileira das Empresas Produtoras de Charque do Estado de São Paulo; Delegado Representante da FAESP junto ao CIEE.
 
 ; Conselheiro, Associação Brasileira de Exportadores do Rio de Janeiro, RJ, 1978; Membro, COPAGRI, Secretaria da Agricultura e Abastecimento de São Paulo, SP, 1986-1988; Membro, Conselho Administrativo da Companhia de Desenvolvimento Agrícola do Estado de São Paulo, 1987-1990; Membro Nato, Alto Conselho Agrícola do Estado de São Paulo; Presidente Licenciado, Conselho Administrativo do Clube da Cidade de São Paulo; Membro, Conselho Superior da Sociedade Nacional da Agrícultura e do Conselho Consultivo do Instituto Histórico e Geográfico; Conselheiro Mantenedor, CEDES; Representante da FAESP junto ao Conselho Universitário da Univ. Estadual Paulista Júlio de Mesquita Filho e a CNA junto à Câmara dos Deputados, Assessoria Especial de Assuntos Agropecuários Nacionais, 1971; Conselheiro, Fundação de Desenvolvimento da Pesquisa Agropecuária; Membro, Conselho Universitário da USP; Conselheiro, Associação GIR do Brasil; Membro, Conselho Superior da SRB e do Fórum Informal de Empresários de São Paulo.
Estudos e Cursos Diversos:
Ciências Jurídicas e Sociais, Fac. de Direito, Franca, SP, 1977; Ciclo de Estudos, ADESG; Ciclo de Extensão A Segurança Nacional no Pensamento Político Brasileiro, ESG, 1987; Diplomado, XIX Ciclo de Estudos, ADESG, 1977; II Curso de Atualização, Interpretação e Programação da Legislação Trabalhista Rural, FAESP, São Paulo, SP.
Obras Publicadas:
Melhorias das Condições de Vida dos Trabalhadores Rurais Autônomos: parceiros, Meeiros, Arrendatários e Categorias Análogas. Anais do LII Congresso Internacional da OIT, Genebra, Suíça, 1968; Café : Produção e Comercialização. In: XXX Congresso Agropecuário Brasileiro, Brasília, 1969; Agricultura no Estado de São Paulo e meio ambiente ( Chefe e relator do grupo adesguiano responsável pela execução do trabalho ) São Paulo, 1977; Utilização do Solo visando o aumento da produtividade ( Coordenador do trabalho desenvolvido pelo grupo número 2 do grupo de assessoria e participação do Governo do Estado de São Paulo - GAP) São Paulo, 1968; Agropecuária na Consituinte, Folha de São Paulo, São Paulo, 7 nov 1986. ( Artigo selecionado entre as contribuições enviadas à constituinte, publicado, posteriormente, em florilégio, pela, Fundação Petrônio Portela); Perspectivas para a agropecuária. Jornal do Commércio, Rio de Janeiro, 1987. (Edição especial comemorativa do 160 aniversário ); Autor de diversos trabalhos publicados em Jornais e Revistas de todo o País, relacionados com os temas agricultura e pecuária..

另一个txt文件是：

DEM-BA



FÉLIX MENDONÇA


Biografia



Data de falecimento: 26/06/2020
Profissões: Engenheiro; Construtor civil
Escolaridade: Superior






Mandatos (na Câmara dos Deputados):
 Deputado(a) Federal - 1983-1987, BA, PTB, Dt. Posse: 01/02/1983; Deputado(a) Federal - (Congresso Revisor), 1991-1995, BA, PTB, Dt. Posse: 01/02/1991; Deputado(a) Federal - 1995-1999, BA, PTB, Dt. Posse: 01/02/1995; Deputado(a) Federal - 1999-2003, BA, PTB, Dt. Posse: 01/02/1999; Deputado(a) Federal - 2003-2007, BA, PTB, Dt. Posse: 01/02/2003; Deputado(a) Federal - 2007-2011, BA, PFL, Dt. Posse: 01/02/2007.



Proposições de Autoria do Deputado




Proposições de Autoria do Deputado Transformadas em Norma Jurídica




Proposições Relatadas pelo Deputado




Proposições Relatadas Transformadas em Norma Jurídica




Votações em Plenário (Legislaturas):

                                    52
                            , 
                                
                                    53


Presença em Comissões (Legislaturas):

                                    52
                                , 
                                
                                    53


Presença em Plenário (Legislaturas):

                                    52
                                , 
                                
                                    53

Licenças:
Licenciou-se do mandato de Deputado Federal, na Legislatura 2007-2011, para tratamento de saúde, por 15 dias, a partir de 23 de março de 2009, sem convocação de Suplente. 
Filiações Partidárias:
PFL, 2003; DEM, 2007
Atividades Partidárias:
Vice-Líder do PTB, 1993, 1997-1999 e  2000-2003; Vice-Líder do Bloco PFL, PTB, 1995-1996; Vice-Líder do Bloco PSDB, PTB, 2001; Vice-Líder do PFL, 2005-..
Atividades Parlamentares:
CÂMARA DOS DEPUTADOS - Legislaturas anteriores à 54ª COMISSÕES PERMANENTES: Agricultura, Pecuária, Abastecimento e Desenvolvimento Rural: Suplente, 3/2005-3/2006, 3/2006, 14/2/2007-6/2/2008, 4/3/2008-2/2/2009, 4/3/2009-1/2/2010, 3/3/2010-; Agricultura e Política Rural: Presidente, Titular e Suplente; Economia, Indústria e Comércio: Suplente; Finanças e Tributação: 1º Vice-Presidente, 2º Vice-Presidente, 26/3/2008-4/3/2009, Terceiro Vice-Presidente, 4/3/2009-3/3/2010, Titular, 3/2005-3/2006, 3/2006, 14/2/2007-6/2/2008, 4/3/2008-2/2/2009, 4/3/2009-1/2/2010, 3/3/2010-, e Suplente; Minas e Energia: Titular; Segurança Pública e Combate ao Crime Organizado: Suplente, 13/3/2008-19/11/2008; Seguridade Social e Família: Suplente. COMISSÕES ESPECIAIS: Amenizar Tributação Cumulativa: Suplente; Crimes de Responsabilidade do Presidente da República: Suplente; PEC nº 1/95, Reeleição: Titular e Suplente; PEC nº 4/95, Concessão e Distribuição do Gás Canalizado: Suplente; PEC nº 40/03, Reforma da Previdência: Suplente-; PEC nº 53/99, Sistema Financeiro: Titular e Suplente; PEC nº 57/99, Fundo Nacional Desenvolvimento Semi-Árido: Titular; PEC nº 81/95, Cria Imposto sobre Distribuição de Combustíveis: Titular; PEC nº 175/95, Altera o Capítulo do Sistema Tributário Nacional: Titular; PEC nº 256/95, Competência à União para Instituir Contribuição Provisória sobre Movimentação Financeira: Titular; PEC nº 285/08, Fundos Habitação de Interesse Social: Titular, 6/8/2009-; PEC nº 347/96, Posse do Presidente da República: Titular; PEC nº 358/05, Reforma do Judiciário: Titular, 1/2006-; PEC nº 407/01, Prorrogação da CPMF: Titular; PEC nº 443/09, Remuneração Advogados Públicos: Titular, 1/6/2010-; PEC nº 472/97, Altera Arts. 48, 62 e 84, Edição de Medida Provisória: Suplente; PEC nº 534/02, Guardas Municipais: Titular-; PEC nº 598/98, Idade Mínima para Cargo Eletivo: Suplente; PEC nº 603/98, Terrenos da Marinha: Titular, 3/2006-; PEC nº 618/98, Patrimônio Genético: Suplente; PL nº 824/91, Propriedade Industrial: Titular; PL nº 1.210/95, Política Nacional do Petróleo: Suplente; PL nº 4.874/01, Estatuto do Desporto: Titular; Política Nacional de Habitação: Titular; PLP nº 18/99, Responsabilidade Fiscal: Titular; Projeto em Trâmite Sistema Financeiro Nacional: Titular; Projetos de Lei Legislação Tributária: Titular; Reforma da Previdência: Titular-; Questão do Desemprego: Titular e Suplente; Seca no Nordeste e Atendimento às Populações Atingidas: Suplente. COMISSÕES EXTERNAS: Fiscalização dos Atos do Executivo: Suplente. CPIs: Fuga de Capital e Evasão de Divisas do Brasil: Titular.CONSELHOS: Conselho de Altos Estudos e Avaliação Tecnológica - Trabalho sobre a Dívida Pública do Brasil: Titular; de Altos Estudos e Avaliação Tecnológica - Série Cadernos de Altos Estudos: 1-Biodiesel e Inclusão Social; 2- A Dívida Pública Brasileira (Relator); 3- O Mercado de Software no Brasil; 4- Capacitação Tecnológica da População; 5- Os Desafios do Pré-Sal; 6- Alternativas de Políticas Públlicas para a Banda Larga.GRUPOS DE TRABALHO: Transposição do Rio São Francisco.CONGRESSO NACIONALCOMISSÕES MISTAS: Planos, Orçamentos Públicos e Fiscalização: Relator Setorial do Orçamento, Área da Fazenda e Desenvolvimento, 2002 e Área da Previdência Assistência Social e Trabalho, 2003; CPMI Sistema Financeiro de Habitação: Suplente.
Mandatos Externos:
Prefeito(a) , BA, Período: 1963 a 1966; Deputado(a) Estadual , BA, Partido: ARENA, Período: 1967 a 1971.
Atividades Profissionais e Cargos Públicos:
Auxiliar de Engenharia, Secretaria de Agricultura do Estado da Bahia, 1950-1969; Engenheiro de Obras, Companhia Comercial Construtora Delta Ltda., Ilhéus, BA, 1956-1969; Engenheiro-Residente, Terraplenagem do DERBA, 1960-1961; Secretário de Obras Públicas, Prefeitura Municipal, Itabuna, BA, 1961-1962; Chefe do Departamento de Obras Industriais, CONSTROL - Comércio e Indústria de Construção, Salvador, BA, 1972-1975; Engenheiro de Produção, Santa Helena Incorporações e Construções S.A.; Consultor da MRM - Construções e Incorporações S.A., 1990..
Estudos e Cursos Diversos:
Engenharia Civil, UFBA, Salvador, 1951-1955..

我从网站上抓取文件。但是，当我想从一个标题到另一个标题抓取文本文件时，我注意到 div 和 p 位置因链接而异。我需要抓取网站的许多链接。然而，由于 div 和 p 信息从一个链接到另一个链接发生变化，我不得不下载整个文本。但是，我需要将这些所有文件转换为 datframe 并保存为 .csv 文件。我想要对所有 txt 文件做的是创建数据框，例如：

col(Name) -> row(FÁBIO MEIRELLES)

col(Mandatos (na Câmara dos Deputados))-> row(Deputado(a) Federal - 1983-1987, BA, PTB, Dt. Posse: 01/02/1983; Deputado(a) Federal - (Congresso Revisor) ), 1991-1995, BA, PTB, Dt. Posse: 01/02/1991; Deputado(a) Federal - 1995-1999, BA, PTB, Dt. Posse: 01/02/1995; Deputado(a) Federal - 1999-2003, BA, PTB, Dt. Posse: 01/02/1999; Deputado(a) Federal - 2003-2007, BA, PTB, Dt. Posse: 01/02/2003; Deputado(a) Federal - 2007- 2011, BA, PFL, Dt. Posse: 01/02/2007.)

col(Licenças)-> row(Licenciou-se do mandato de Deputado Federal, na Legislatura 2007-2011, para tratamento de saúde, por 15 dias, a partir de 23 de março de 2009, sem convocação de Suplente.)

col(Filiações Partidárias)-> row(PFL, 2003; DEM, 2007)

col(Atividades Partidárias)-> row(Vice-Líder do PTB, 1993, 1997-1999 e 2000-2003; Vice-Líder do Bloco PFL, PTB, 1995-1996; Vice-Líder do Bloco PSDB, PTB, 2001 年；PFL 副校长，2005 年-..)

col(Atividades Parlamentares)-> row(CÂMARA DOS DEPUTADOS - Legislaturas anteriores à 54ª COMISSÕES PERMANENTES: Agricultura, Pecuária, Abastecimento e Desenvolvimento Rural: Suplente, 3/2005-3/2006, 3/2006, 14/2/ 2007-6/2/2008, 4/3/2008-2/2/2009, 4/3/2009-1/2/2010, 3/3/2010-; Agricultura e Política Rural: Presidente, Titular e Suplente; Economia, Indústria e Comércio: Suplente; Finanças e Tributação: 1º 副总裁, 2º 副总裁, 26/3/2008-4/3/2009, Terceiro 副总裁, 4/3/2009-3/3/2010 , 名义上, 3/2005-3/2006, 3/2006, 14/2/2007-6/2/2008, 4/3/2008-2/2/2009, 4/3/2009-1/2/2010 , 3/3/2010-, e Suplente; Minas e Energia: Titular; Segurança Pública e Combate ao Crime Organizado: Suplente, 13/3/2008-19/11/2008; Seguridade Social e Família: Suplente. COMISSÕES ESPECIAIS: Amenizar Tributação Cumulativa: Suplente; Crimes de Responsabilidade do Presidente da República: Suplente; PEC nº 1/95, Reeleição: Titular e Suplente; PEC nº 4/95, Concessão e Distribuição do Gás Canalizado: S充实的； PEC nº 40/03，Reforma da Previdência：Suplente-； PEC nº 53/99，Sistema Financeiro：Titular e Suplente； PEC nº 57/99，Fundo Nacional Desenvolvimento Semi-Árido：名义上； PEC nº 81/95，Cria Imposto sobre Distribuição de Combustíveis：名义上； PEC nº 175/95，Altera o Capítulo do Sistema Tributário Nacional：名义上； PEC nº 256/95，Competência à União para Instituir Contribuição Provisória sobre Movimentação Financeira：名义； PEC nº 285/08，Fundos Habitação de Interesse Social：名义上，2009 年 6 月 8 日-； PEC nº 347/96, Posse do Presidente da República: 名义; PEC nº 358/05，Reforma do Judiciário：同名，1/2006-； PEC nº 407/01，Prorrogação da CPMF：名义上； PEC nº 443/09，Remuneração Advogados Públicos：同名，2010 年 1 月 6 日-； PEC nº 472/97，Altera Arts。 48, 62 e 84, Edição de Medida Provisória: Suplente; PEC nº 534/02, Guardas Municipais: Titular-; PEC nº 598/98，Idade Mínima para Cargo Eletivo：Suplente； PEC nº 603/98，Terrenos da Marinha：名义上，3/2006-； PEC nº 618/98，Patrimônio Genético：Suplente； PL nº 824/91，Propriedade Industrial：名义上； PL nº 1.210/95，Política Nacional do Petroleo：Suplente； PL nº 4.874/01，Estatuto do Desporto：名义上； Política Nacional de Habitação：名义上； PLP nº 18/99，Responsabilidade Fiscal：名义上； Projeto em Tramite Sistema Financeiro Nacional：名义上； Projetos de Lei Legislação Tributária：名义上； Reforma da Previdência: 名义上-; Questão do Desemprego：Titular e Suplente； Seca no Nordeste e Atendimento às Populações Atingidas：Suplente。 COMISSÕES EXTERNAS：Fiscalização dos Atos do Executivo：Suplente。 CPIs: Fuga de Capital e Evasão de Divisas do Brasil: Titular.CONSELHOS: Conselho de Altos Estudos e Avaliação Tecnológica - Trabalho sobre a Dívida Pública do Brasil: Titular; de Altos Estudos e Avaliação Tecnológica - Série Cadernos de Altos Estudos：​​1-Biodiesel e Inclusão Social； 2- A Dívida Pública Brasileira (Relator)； 3- O Mercado de Software no Brasil； 4- Capacitação Tecnológica da População； 5- Os Desafios do Pré-Sal; 6- Alternativas de Políticas Públlicas para a Banda Larga.GRUPOS DE TRABALHO: Transposição do Rio São Francisco.CONGRESSO NACIONALCOMISSÕES MISTAS: Planos, Orçamentos Públicos e Fiscalização: Relator Setorial do Orçamento, Área da Fazenda e Desenvolvimento, 2002 e Área da Previdência e 特拉巴略，2003 年； CPMI Sistema Financeiro de Habitação：补充。）

col(Mandatos Externos) -> row(Prefeito(a) , BA, Período: 1963 a 1966; Deputado(a) Estadual , BA, Partido: ARENA, Período: 1967 a 1971.

col(Atividades Profissionais e Cargos Públicos) -> row( Auxiliar de Engenharia, Secretaria de Agricultura do Estado da Bahia, 1950-1969; Engenheiro de Obras, Companhia Comercial Construtora Delta Ltda., Ilhéus, BA, 1956-1969; Engenheiro-Residente, Terraplenagem do DERBA, 1960-1961; Secretário de Obras Públicas, Prefeitura Municipal, Itabuna, BA, 1961-1962; Chefe do Departamento de Obras Industriais, CONSTROL - Comércio e Indústria de Construção, Salvador, BA, 1972-1975; Engenheiro de Produção, Santa Helena Incorporações e Construções S.A.； MRM 顾问 - Construções e Incorporações S.A., 1990..)

col(Estudos e Cursos Diversos)-> row(Engenharia Civil, UFBA, Salvador, 1951-1955..)

我正在尝试查找代码以在所有 .txt 文件中查看相同的标题并将它们保存为 .csv 文件。

提前致谢！

Answer 1

部分问题不是很清楚，示例文件没有太多结构。请参阅下面的代码作为示例，并注意获取Name 对我来说有点弱（尽管它似乎适用于示例文件）。

如果输出中有明显错误的地方，我们深表歉意。我不会说葡萄牙语，所以我没有仔细看确切的单词。

也许：

import pandas as pd
import glob

# given the columns should be (actually this is a 
# list of what to look for in the files)...
cols = ['Name',
 'Mandatos (na Câmara dos Deputados',
 'Licenças',
 'Filiações Partidárias',
 'Atividades Partidárias',
 'Atividades Parlamentares',
 'Mandatos Externos',
 'Atividades Profissionais e Cargos Públicos',
 'Estudos e Cursos Diversos']

def getLines(file):
    '''
    Function to take a text file and return a list of cleaned non-blank lines
    '''
    with open(file, 'r') as f_in:
        lines = (line.strip() for line in f_in) 
        lines = list(line for line in lines if line)
        return lines

def createFrame(lines):
    '''
    Function to take a list and return a dataframe
    '''
    d = {}
    for ln, l in enumerate(lines):
        # for lines matches any item in the 'cols' list
        if any(c in l for c in cols):
            # add that line to the dict with the value as the next line
            d[l[:-1]] = [lines[ln+1]]
            
        # really weak way of find the 'Name' - if ALL CAPS and there is a space
        # and it is in the first ten lines
        elif l.isupper() and ' ' in l and ln < 10:
            # add the name to the dict
            d['Name'] = [l]

    return pd.DataFrame(d) 

# set a path to a folder of all these text files
path = r'./text_files/' # use your path
all_files = glob.glob(path + '/*.txt')

# create a list for all the frame we're about to create
dfs = []

# loop through all the files in the set folder
for file in all_files:
    # use the functions to clean the files, get a list, 
    # create a dictionary and then return a frame
    dfs.append(createFrame(getLines(file)))
    
# concat the frames together (assume this is required?)
df = pd.concat(dfs).reset_index(drop=True)

# output the dataframe to a CSV file
df.to_csv('out.csv', index=False)

print('Done.')

display(df)

输出：

CSV：