【发布时间】：2019-09-10 13:12:57
【问题描述】：
考虑一下这个 mcve：
import math
import sys
import textwrap
import time
from pathlib import Path
from collections import defaultdict
from PyQt5.Qsci import QsciLexerCustom, QsciScintilla
from PyQt5.Qt import *
from pygments import lexers, styles, highlight, formatters
from pygments.lexer import Error, RegexLexer, Text, _TokenType
from pygments.style import Style
EXTRA_STYLES = {
"monokai": {
"background": "#272822",
"caret": "#F8F8F0",
"foreground": "#F8F8F2",
"invisibles": "#F8F8F259",
"lineHighlight": "#3E3D32",
"selection": "#49483E",
"findHighlight": "#FFE792",
"findHighlightForeground": "#000000",
"selectionBorder": "#222218",
"activeGuide": "#9D550FB0",
"misspelling": "#F92672",
"bracketsForeground": "#F8F8F2A5",
"bracketsOptions": "underline",
"bracketContentsForeground": "#F8F8F2A5",
"bracketContentsOptions": "underline",
"tagsOptions": "stippled_underline",
}
}
def convert_size(size_bytes):
if size_bytes == 0:
return "0B"
size_name = ("B", "KB", "MB", "GB", "TB", "PB", "EB", "ZB", "YB")
i = int(math.floor(math.log(size_bytes, 1024)))
p = math.pow(1024, i)
s = round(size_bytes / p, 2)
return f"{s} {size_name[i]}"
class ViewLexer(QsciLexerCustom):
def __init__(self, lexer_name, style_name):
super().__init__()
# Lexer + Style
self.pyg_style = styles.get_style_by_name(style_name)
self.pyg_lexer = lexers.get_lexer_by_name(lexer_name, stripnl=False)
self.cache = {
0: ('root',)
}
self.extra_style = EXTRA_STYLES[style_name]
# Generate QScintilla styles
self.font = QFont("Consolas", 8, weight=QFont.Bold)
self.token_styles = {}
index = 0
for k, v in self.pyg_style:
self.token_styles[k] = index
if v.get("color", None):
self.setColor(QColor(f"#{v['color']}"), index)
if v.get("bgcolor", None):
self.setPaper(QColor(f"#{v['bgcolor']}"), index)
self.setFont(self.font, index)
index += 1
def defaultPaper(self, style):
return QColor(self.extra_style["background"])
def language(self):
return self.pyg_lexer.name
def get_tokens_unprocessed(self, text, stack=('root',)):
"""
Split ``text`` into (tokentype, text) pairs.
``stack`` is the inital stack (default: ``['root']``)
"""
lexer = self.pyg_lexer
pos = 0
tokendefs = lexer._tokens
statestack = list(stack)
statetokens = tokendefs[statestack[-1]]
while 1:
for rexmatch, action, new_state in statetokens:
m = rexmatch(text, pos)
if m:
if action is not None:
if type(action) is _TokenType:
yield pos, action, m.group()
else:
for item in action(lexer, m):
yield item
pos = m.end()
if new_state is not None:
# state transition
if isinstance(new_state, tuple):
for state in new_state:
if state == '#pop':
statestack.pop()
elif state == '#push':
statestack.append(statestack[-1])
else:
statestack.append(state)
elif isinstance(new_state, int):
# pop
del statestack[new_state:]
elif new_state == '#push':
statestack.append(statestack[-1])
else:
assert False, "wrong state def: %r" % new_state
statetokens = tokendefs[statestack[-1]]
break
else:
# We are here only if all state tokens have been considered
# and there was not a match on any of them.
try:
if text[pos] == '\n':
# at EOL, reset state to "root"
statestack = ['root']
statetokens = tokendefs['root']
yield pos, Text, u'\n'
pos += 1
continue
yield pos, Error, text[pos]
pos += 1
except IndexError:
break
def highlight_slow(self, start, end):
style = self.pyg_style
view = self.editor()
code = view.text()[start:]
tokensource = self.get_tokens_unprocessed(code)
self.startStyling(start)
for _, ttype, value in tokensource:
self.setStyling(len(value), self.token_styles[ttype])
def styleText(self, start, end):
view = self.editor()
t_start = time.time()
self.highlight_slow(start, end)
t_elapsed = time.time() - t_start
len_text = len(view.text())
text_size = convert_size(len_text)
view.setWindowTitle(f"Text size: {len_text} - {text_size} Elapsed: {t_elapsed}s")
def description(self, style_nr):
return str(style_nr)
class View(QsciScintilla):
def __init__(self, lexer_name, style_name):
super().__init__()
view = self
# -------- Lexer --------
self.setEolMode(QsciScintilla.EolUnix)
self.lexer = ViewLexer(lexer_name, style_name)
self.setLexer(self.lexer)
# -------- Shortcuts --------
self.text_size = 1
self.s1 = QShortcut(f"ctrl+1", view, self.reduce_text_size)
self.s2 = QShortcut(f"ctrl+2", view, self.increase_text_size)
# self.gen_text()
# # -------- Multiselection --------
self.SendScintilla(view.SCI_SETMULTIPLESELECTION, True)
self.SendScintilla(view.SCI_SETMULTIPASTE, 1)
self.SendScintilla(view.SCI_SETADDITIONALSELECTIONTYPING, True)
# -------- Extra settings --------
self.set_extra_settings(EXTRA_STYLES[style_name])
def get_line_separator(self):
m = self.eolMode()
if m == QsciScintilla.EolWindows:
eol = '\r\n'
elif m == QsciScintilla.EolUnix:
eol = '\n'
elif m == QsciScintilla.EolMac:
eol = '\r'
else:
eol = ''
return eol
def set_extra_settings(self, dct):
self.setIndentationGuidesBackgroundColor(QColor(0, 0, 255, 0))
self.setIndentationGuidesForegroundColor(QColor(0, 255, 0, 0))
if "caret" in dct:
self.setCaretForegroundColor(QColor(dct["caret"]))
if "line_highlight" in dct:
self.setCaretLineBackgroundColor(QColor(dct["line_highlight"]))
if "brackets_background" in dct:
self.setMatchedBraceBackgroundColor(QColor(dct["brackets_background"]))
if "brackets_foreground" in dct:
self.setMatchedBraceForegroundColor(QColor(dct["brackets_foreground"]))
if "selection" in dct:
self.setSelectionBackgroundColor(QColor(dct["selection"]))
if "background" in dct:
c = QColor(dct["background"])
self.resetFoldMarginColors()
self.setFoldMarginColors(c, c)
def increase_text_size(self):
self.text_size *= 2
self.gen_text()
def reduce_text_size(self):
if self.text_size == 1:
return
self.text_size //= 2
self.gen_text()
def gen_text(self):
content = Path(__file__).read_text()
while len(content) < self.text_size:
content *= 2
self.setText(content[:self.text_size])
if __name__ == '__main__':
app = QApplication(sys.argv)
view = View("python", "monokai")
view.setText(textwrap.dedent("""\
'''
Ctrl+1 = You'll decrease the size of existing text
Ctrl+2 = You'll increase the size of existing text
Warning: Check the window title to see how long it takes rehighlighting
'''
"""))
view.resize(800, 600)
view.show()
app.exec_()
要运行它，您需要安装：
QScintilla==2.10.8
Pygments==2.3.1
PyQt5==5.12
我正在尝试弄清楚如何在 QScintilla 小部件上使用 pygments，现在我需要解决的主要问题是处理非小型文档时的性能。
我希望编辑器在处理大型文档 (>=100kb) 时具有响应性和可用性，但我不太清楚我应该在这里采取什么方法。为了测试性能，您可以使用 Ctrl+1 或 Ctrl+2 并且小部件文本将减少/分别增加。
当我说“响应式”时，我的意思是 可见屏幕 的突出显示计算应该不再需要 [1-2]frame/highglight [17-34]ms/highlight （假设 60fps）所以在打字时你不会感到任何减速。
注意：正如您在上面的 mcve 中看到的，我已经包含了 pygments 标记器，因此您可以使用它......感觉就像为了实现“实时突出显示”我需要使用以某种聪明的方式进行记忆/缓存，但我正在努力弄清楚我需要缓存哪些数据以及缓存它的最佳方式是什么......：/
演示：
在上面的演示中，您可以看到使用这种天真的突出显示编辑器很快就会变得无法使用，在我的笔记本电脑中重新突出显示 32kb 的文本块仍然会提供交互式帧速率，但如果高于该值，编辑器就会完全无法使用。
注意事项：
- 最典型的情况是在没有选择的情况下在可见屏幕上输入/编码时发生
- 您可能正在编辑遍布整个文档的多个选择，这意味着您不知道这些选择是否在可见屏幕附近。例如，在 Sublime 中，当您按下
Alt+F3时，您会选择光标下的所有出现 - 在上面的 sn-p 中，我使用了 python 词法分析器，但算法不应该过多地关注那个。 Pygments 支持约 300 个词法分析器
- 如果可见屏幕位于文件末尾并且其中一个选项恰好位于屏幕开头，则会发生最坏的情况...如果您需要重新突出显示您需要的整个文档找到替代方法，即使这意味着“突出显示”在第一遍时不正确
- 最重要的是性能和正确性...也就是说，如果您给了足够的时间，整个文档应该会正确突出显示
参考：
- https://qscintilla.com/styletext-the-highlighting-engine/
- http://pygments.org/docs/
- https://www.riverbankcomputing.com/static/Docs/QScintilla/annotated.html
以下文档并非针对此特定问题，但它们讨论了缓存和语法突出显示的可能策略：
【问题讨论】：
-
相关：code.visualstudio.com/blogs/2017/02/08/… 讲述了语法高亮的工作原理。
-
仅供参考 - this question is being discussed on Meta 所以它可能会得到比平时更多的“关注”。
-
由于这显然不是一个最小的例子，我认为它更适合 codereview.stackexchange.com。
-
@BPL 我将其解读为优化此特定代码（这绝对是要求代码审查），而不是一般算法问题。如果这是真正的问题，那么代码应该被大大减少。事实并非如此，这就是为什么在某些人看来，您只是在要求他们为您编写代码。您称之为“hacky”的最佳答案只是因为您对 SO 的单个 Q/A 想要太多。这就是为什么它应该被最小化并且问题的范围受到限制，或者它应该在 codereview 上。
-
这里的实际问题是什么？我在问题文本中找不到一个问号。也许只需添加类似“问题：......你在问什么？”这样的段落
标签： python pyqt5 scintilla pygments qscintilla