SQL计算第二个表中一个表中单词的出现次数

Question

我正在尝试使用 SQL 方言来解析一组记录。具体来说，我想计算我的日志中出现的包含各种 id（单词）的记录数。我还想计算这些 id 出现的总次数。

数据存在于两个不同的表中：

• id_status - 包含id,status 的表。
• request_records - 包含请求记录的表。 id 可能在给定记录中出现多次。

见SQL Fiddle！

id_status

此表包含 id 及其当前状态。

id, status
sessions, ACTIVE
visits, DEPRECATED
duration, ACTIVE
...

request_records

句子记录可能包含超过 30 万条记录：

request
example.com/api?foo=sessions
example.com/api?bar=session%2Cvisits,foo=sessions
example.com/api?bar=duration,visits
example.com/api?foo=sessions
example.com/api?foo=visits,bar=visits
...

目标

我想创建一个包含四列id,status,occurence_count,record_count 的表。

• occurence_count: 应该是 id 在所有记录中出现的总次数。
• recourd_count：应该是特定 id 出现的记录总数。

根据上述示例，我将生成下表：

id, status, occurence_count, recourd_count
sessions,ACTIVE,3,2
visits,DEPRECATED,4,3
duration,ACTIVE,1,1

SQL

有没有办法构造一个返回所需表的 SQL 查询？我会知道如何用 Python 或任何其他语言相当容易地做到这一点，但如果可能的话，我想写一个 SELECT 语句来生成这个表。

更新：如下所示，我已尝试执行以下操作：

SELECT ids.id, ids.status,
     SUM(length(request) - LENGTH(replace(request, ids.id, ''))) / LENGTH(ids.id) as occurence_count,
     COUNT(reqs.request) AS recourd_count
FROM id_status ids LEFT JOIN
     request_records reqs
     ON find_in_set(ids.id, reqs.requests) > 0
GROUP BY ids.id, ids.status;

但是我的 SQL 方言不允许这种类型的连接并返回以下错误：

ON clause must be AND of = comparisons of one field name from each table, with all field names prefixed with table name.

添加了Sample Schema的SQL Fiddle：

CREATE TABLE id_status
    (`id` varchar(32), `status` varchar(32))
;

INSERT INTO id_status
    (`id`, `status`)
VALUES
    ('sessions', 'ACTIVE'),
    ('visits', 'DEPRECATED'),
    ('duration', 'ACTIVE')
;

CREATE TABLE request_records 
    (`request` varchar(500))
;

Answer 1

您可以通过查询生成所需的内容。它不会有效率：

select w.word, w.status,
       sum(length(sentence) - length(replace(sentence, w.word, ''))) / length(w.word) as cnt,
       count(s.sentence) as num_occurrences
from words w left join
     sentences s
     on find_in_set(w.word, s.sentence) > 0
group by w.word, w.status;

Answer 2

简单版：

SELECT id,
       status,
       (SELECT (SUM(CHAR_LENGTH(request)) -
                SUM(CHAR_LENGTH(REPLACE(request, id, ''))))
               / CHAR_LENGTH(id) FROM request_records) AS occurrence_count,
       (SELECT COUNT(*)
        FROM request_records
        WHERE INSTR(request, id) > 0) AS record_count
FROM id_status

见updated SQL fiddle。

这只是寻找出现在任何地方的单词，例如在寻找sessions 时会盲目地计算abcsessions 或sessionsxyz。如果需要更复杂的东西（例如考虑单词边界），您可能需要使用正则表达式替换器而不是 REPLACE 函数 - 但不幸的是，这是 MySQL 缺乏的一件事。我曾经尝试过写一篇文章，但这并不简单 - 请参阅 here。