遍历一个文件夹下的所有文件的方法有两钟:1)使用Multiple Flat File Connection,把所有我们要的文件用"|"作为连接符拼凑出一条connection string;2)用foreach loop container,指定文件名pattern和文件夹;

前者需要在做一些功夫去找到那些文件夹,可能需要搞个script task之类的或者foreach loop container去找到那些文件,而且如果有子文件夹更麻烦;后者子文件夹搜索SSIS已经提供了一个选项,选择我们想要的enumerator就行,比较方便;但是不同点是后者是每个文件每个文件这个样来迭代处理的,这就意味着如果foreach loop里层的data flow需要被执行(文件数量)对应的次数,而前者只执行一次。不晓得这里会否出现性能问题,在文件数量非常多的情况下,不过还是倾向于后者,即便假定一次性处理的文件数量达到上千,用Multiple Flat File Connection一次性处理非常耗资源,如果服务器有其他的任务或者应用程序在跑就很可能被连累,很可能内存被吃光,这样还不如一个一个慢慢跑,在业务场景并不紧急的情况下。

 

Multiple File Connection的话我没发现哪里可以用到它

相关文章:

  • 2021-06-23
  • 2021-08-07
  • 2021-08-14
  • 2021-10-03
  • 2022-01-10
  • 2019-09-28
  • 2019-01-09
  • 2021-07-25
猜你喜欢
  • 2021-07-27
  • 2022-01-20
  • 2021-09-10
  • 2021-09-10
  • 2021-12-02
  • 2021-06-17
  • 2021-11-13
  • 2021-09-20
相关资源
相似解决方案