【问题标题】:How to improve multiple StringReplace calls?如何改进多个 StringReplace 调用?
【发布时间】:2016-01-13 15:01:07
【问题描述】:

我从客户那里读取文件,我需要处理读取的数据并删除一些不需要的字符。我的函数有效,但我正在尝试改进 FixData 函数以提高速度/性能和可维护性。

是否可以将多个 StringReplace 调用替换为仅循环一次数据并替换为所需的任何内容?

我找不到 MultipleStringReplace 或类似函数。

MCVE:

function FixData(const vStr:string):string;
var i:integer;
begin
  Result:=vStr;

  // empty string
  if Result = #0 then Result := '';

  // fix just New line indicator
  if Result = #13#10 then  Result := #8;

  // remove 'end'/#0  characters
    if Pos(#0, Result) > 0 then
      for i := 1 to Length(Result) do
        if Result[i] = #0 then
          Result[i] := ' ';

    //  #$D#$A  -> #8
    if Pos(#$D#$A, Result) > 0 then
      Result := StringReplace(Result, #$D#$A, #8, [rfReplaceAll]);

    // remove &#xD
    if Pos('
', Result) > 0 then
      Result := StringReplace(Result, '
', '', [rfReplaceAll]);

    // #$A -> #8
    if Pos(#$A, Result) > 0 then
      Result := StringReplace(Result, #$A, #8, [rfReplaceAll]);

    // replace " with temp_replacement value
    if Pos(chr(34), Result) > 0 then
      Result := StringReplace(Result, chr(34), '\_/', [rfReplaceAll]);
end;

procedure TForm1.Button1Click(Sender: TObject);
var vStr,vFixedStr:string;
begin
  vStr:='testingmystr:"quotest" - '+#0+' substr 
 new line '#$A' 2nd line '#$D#$A' end of data';
  vFixedStr:=FixData(vStr);
end;

【问题讨论】:

  • 是否可以将多个 StringReplace 调用替换为仅循环一次数据并替换为所需的任何内容? 是的。是什么阻止你这样做?分配一个输出字符串。循环输入字符串,将字符复制到输出字符串中。如果检测到需要替换的字符,请替换它。
  • 也许使用正则表达式是更好的选择?
  • @daryal,他提到了“速度/性能和可维护性”...
  • @MikeTorrettinni ReplaceStr 最糟糕的部分是,当新旧 [atterns 的大小不同时,要完成昂贵的内存复制。实际上这并不是什么新鲜事,这是任何类似数组的容器的教科书属性:随机访问和替换非常便宜,但插入/删除元素非常昂贵。所以这通常是第一个性能优化——在保持代码可读性的同时尽可能少地复制内存。实际上,在我的 sn-p 中,我可以避免复制字符串块,而是生成块的“坐标”,以便稍后一次性复制。
  • 这将提供预先分配确切数量的内存并减少InputString 数据的一份内存副本。但这会使代码更难掌握。大多数基于性能的优化都将不同的逻辑阶段融合到相同的执行单元中,从而模糊了逻辑结构并使维护变得更加困难。相反,我可以分离没有重叠的阶段,并且代码在概念上更容易理解,但在执行中的优化程度较低。您说的是“速度/性能和可维护性”,但通常这是一种权衡,非此即彼,

标签: string delphi delphi-xe7


【解决方案1】:

我猜,您必须将字符串拆分为一组字符串(非定界符和定界符(模式)),然后替换数组中的项目,然后再将它们组合回来。您将从较长的模式开始并转到较短的模式(针对模式内部模式的安全检查),然后额外运行将进行一个字符到一个字符的替换(因为它们可以就地完成并且不需要内存复制)。

双重复制,搜索缩放为 O(Length(input)*Count(Delimiters))。

类似这样的伪代码草稿(没有实现到最后一个点,仅供您参考):

由于您的模式很短,我认为线性搜索可以,否则需要更优化但更复杂的算法:https://en.wikipedia.org/wiki/String_searching_algorithm#Algorithms_using_a_finite_set_of_patterns

按照您认为合适的方式将其散列为更小的函数,以便于理解/维护。

Type TReplaceItem = record (match, subst: string; position: integer);
var matches: array of TReplaceItem;

SetLength(matches, 3);
matches[0].match := '
'; // most long first;
  matches[0].subst := ''; 
matches[1].match := #$D#$A; // most long first;
  matches[1].subst := #8; 
matches[2].match := #34; // most long first;
  matches[2].subst := '\_/'; 

sb := TStringBuilder.Create( 2*Length(InputString) ); 
// or TList<String>, or iJclStringList of Jedi CodeLib, or TStringList... depending on performance and preferences
// Capacity parameter is for - warming up, pre-allocating memory that is "usually enough" 
try    

  NextLetterToParse := 1;
  for I := Low(matches) to high(matches) do
    matches[I].position := PosEx(matches[I].match, InputString, NextLetterToParse ); 

  While True do begin

     ClosestMatchIdx := -1;

     ClosestMatchPos := { minimal match[???].Position that is >= NextLetterToParse };
     ClosestMatchIdx := {index - that very [???] above - of the minimum, IF ANY, or remains -1}

     if ClosestMatchIdx < 0 {we have no more matches} then begin

      //dump ALL the remaining not-yet-parsed rest
        SB.Append( Copy( InputString, NextLetterToParse , Length(InputString));

      // exit stage1: splitting loop
        break;
     end;

     // dumping the before-any-next-delimiter part of not-parsed-yet tail of the input
     // there may be none - delimiters could go one after another
     if ClosestMatchPos > NextLetterToParse then
         SB.Append( Copy( InputString, NextLetterToParse, ClosestMatchPos-NextLetterToParse);

     // dumping the instead-of-delimiter pattern
     SB.Append( matches[ ClosestMatchIdx ].Subst );

     ShiftLength := (ClosestMatchPos - NextLetterToParse) + Length(matches[ ClosestMatchIdx ].Match); 
     // that extra part got already dumped now

     Inc( NextLetterToParse, ShiftLength);

     for I := Low(matches) to high(matches) do
       if matches[I].position < NextLetterToParse then
          matches[I].position := PosEx(matches[I].match, InputString, NextLetterToParse ); 
     // updating next closest positions for every affected delimiter,
     // those that were a bit too far to be affected ( usually all 
     // but the one being dumped) need not to be re-scanned 

  end; // next stage 1 loop iteration

现在我们有了一个由不匹配的块和替换的模式组成的容器/数组/列表/任何东西。除了就地单字符替换。是时候合并并进行最后一次扫描了。

Stage2String := SB.ToString();

finally 
  SB.Destroy; 
end;

for I := 1 to Length( Stage2String ) do
  case Stage2String[I] of
    #0: Stage2String[I] := #32;

    #10, #13: Stage2String[I] := #8;
    // BTW - ^M=#13=#$D sometimes can be met without trailing ^J=#10=#$A
    // that was the end-of-line char used in old Macintosh text files

    else ; // do nothing, let it stay as is
  end;

Result := Stage2String;

【讨论】:

  • 感谢@Arioch 的努力,但事实证明这对我来说太复杂了,我不知道自己在做什么。所以,Sam z 被证明适合我。
  • SAM Z 函数更加复杂,它“展开”了我为清楚起见而跳过的阶段 :-) 我建议您阅读有关函数式语言的内容,它们是比Delphi/C++/Java 并倾向于将进程想象为数据和转换(函数)的管道。只是为了让你更灵活。或者也许反映来自 OmniThreads Delphi 库的Pipeline 模式。 “当你只有锤子时,你只会看到到处都是钉子”。这段代码绝对不复杂,只是角度有点不同
  • 基本上,如果我们坐在一张桌子旁,拿着纸和铅笔,我可以向您展示移动的块和那些没有低级细节的概念,所有这些多重变量,您会看到它是多么简单是...这是我建议您阅读 FP 语言的一些基本介绍的另一个原因,您在我的代码中看到叶子不是分支,您看到实现不是非常简单的想法...而且它看起来很复杂,当它是绝对不是……可惜。
  • 复杂,我不知道如何填写缺失的部分。
  • 几乎,SB.Dispose -> SB.Destroy / SB.Free / FreeAndNil(SB) in Delphi for Windows 在 Delphi/LLVM 中,您可以 SB:=nil; 或退出 SB 是本地变量的程序。
猜你喜欢
  • 1970-01-01
  • 2021-10-16
  • 2019-03-05
  • 2021-11-01
  • 2022-01-24
  • 2014-06-04
  • 1970-01-01
  • 1970-01-01
  • 2020-09-15
相关资源
最近更新 更多