一、Mapper功能总体介绍
从SuperSonic的架构图，可以看到Schema Mapper处在一个很重要位置；主要功能是从输入文本中，解析所有可能存在的SchemaElement；并将这些SchemaElement数据将传递到下一步的Parser中，作为后续Parser解析识别使用；
其中SchemaElement主要分为几个类型：model(模型)、metric（指标）、dimension（维度）、value（维度值）、entity（实体名）；那么Mapper是如何识别文本成SchemaElement呢？
二、Mapper实现解析
SuperSonic中的Mapper主要分为三类：基于Embedding的语义识别(EmbeddingMapper)、前后缀识别(HanlpDictMapper)、模糊识别(FuzzyNameMapper)；Mapper支持灵活支持扩展；可在META-INF / spring.factories中动态修改；
每个mapper将自身识别到的SchemaElement按model进行分类，统一添加至QueryContext中的mapInfo中；各个mapper识别后的SchemaElement都是相互进行补充，并在添加时进行对数据去重处理；
2.1、词典数据
目前SuperSonic中的词典数据主要存储：1、借助hanlp中的BinTrie组件存储在Trie树；2、探测加速时使用的精确匹配的双数组Trie树；
2.1.1、词典格式
词典主要由word、nature、frequency，三类组成，其中nature构造如下；同一个word，如果frequency不同，可以选取frequency较大的作为识别的内容；
Element类型 | 支持后缀查询 | 支持模糊查询 | nature | 示例（word nature frequency） |
model | 否 | 否 | _{modelId} | 超音数 _1 10000 |
metric | 是 | 是 | _{modelId}_{metircId}_metric | 访问次数 _1_2_metric 10000 |
dimension | 是 | 是 | _{modelId}_{dimensionId}_dimension | 部门 _1_1_dimension 10000 |
value | 否 | 否 | _{modelId}_{dimensionId} | marketing _1_1 310 |
entity | 否 | 否 | _{modelId}_{dimensionId}_entity | _1_1 310 |
2.1.2、词典构造
com.tencent.supersonic.knowledge.listener.ApplicationStartedListener
com.tencent.supersonic.knowledge.dictionary.builder.ModelWordBuildercom.tencent.supersonic.knowledge.dictionary.builder.MetricWordBuildercom.tencent.supersonic.knowledge.dictionary.builder.DimensionWordBuildercom.tencent.supersonic.knowledge.dictionary.builder.ValueWordBuildercom.tencent.supersonic.knowledge.dictionary.builder.EntityWordBuilder
2、监听model、metric、dimension、value、entity元数据变更事件，从而实时重新更新词典；
com.tencent.supersonic.knowledge.listener.DictUpdateListener
一般生产环境下，维度值数据量大且不像维度名、指标名等可以实时获取变更；因此，对于维度值的构造，采用离线方式；
主要实现方式：定期或主动触发离线构造任务，该任务则通过查询语义层，获取该维度的维度值，并按词典格式写入到文件中；文件存储方式可支持本地文件、hdfs等文件；生产环境可配置成hdfs；hanlp.properties中修改配置；
IOAdapter=com.tencent.supersonic.knowledge.dictionary.HadoopFileIOAdapter
注意：
2 .2、EmbeddingMapper
该Mapper主要功能是通过Embedding方式，支持语义层面映射，获取到输入文本中更多的语义相似的词匹配；说明：HanlpDictMapper、FuzzyNameMapper这些只能做到单纯文本层面的映射，无法支持语义层面的映射。
实现原理：
探测方式：对输入文本进行探测，两层for循环，支持单步、批量查询；并采用hanlp的识别到的词进行探测加速；主要是借助hanlp的精确识别能力，调用segment.seg方法，可以一次性将文本中所有在词典的词查询出来；识别到这些词后，两层for循环在识别到的词基础上，进行探测加速，减少不必要的探测开销；
com.tencent.supersonic.chat.mapper.BaseMatchStrategy中
public List<T> detect(QueryContext queryContext, List<Term> terms, Set<Long> detectModelIds) {Map<Integer, Integer> regOffsetToLength = getRegOffsetToLength(terms);String text = queryContext.getRequest().getQueryText();Set<T> results = new HashSet<>();
Set<String> detectSegments = new HashSet<>();
for (Integer startIndex = 0; startIndex <= text.length() - 1; ) {
for (Integer index = startIndex; index <= text.length(); ) {int offset = mapperHelper.getStepOffset(terms, startIndex);index = mapperHelper.getStepIndex(regOffsetToLength, index);if (index <= text.length()) {String detectSegment = text.substring(startIndex, index);detectSegments.add(detectSegment);detectByStep(queryContext, results, detectModelIds, startIndex, index, offset);}}startIndex = mapperHelper.getStepIndex(regOffsetToLength, startIndex);}detectByBatch(queryContext, results, detectModelIds, detectSegments);return new ArrayList<>(results);}
效果如下图所示：
1、输入"近15天超音数浏览量汇总"，其中"浏览量"和"访问次数"在文本上相似度很低，但是在语义上相似，也可以识别到；
2、输入"近15天访问时间按访问者汇总"，其中"访问者"可以识别到"用户名"；"访问时间"可以识别到"停留时长"；
说明：Github master最新代码已包含Embedding mapper功能，release版本预计在0.8.0中发布；
2.3 、HanlpDictMapper
该Mapper主要功能是通过借用Hanlp词典能力，从纯文本角度按前后缀方式识别文本中的相似词；
实现原理：
探测方式和EmbeddingMapper一致，通过两层for循环获取探测文本，然后调用Trie树，进行前后缀搜索；
探测文本与搜索后的文本进行编辑距离计算相似度，按配置的相似度阈值过滤；
然后同EmbeddingMapper一样，按model分类构造SchemaElement写入到MapInfo中；
2.4、FuzzyNameMapper
背景：由于HanlpDictMapper只支持前后缀的搜索，不支持模糊搜索；以指标"访问次数"为例说明：
该Mapper主要功能借助db中的模糊搜索能力，通过模糊搜索识别更多的词，以解决HanlpDictMapper不支持模糊的缺点；由于db中只存储了指标名、维度名信息，因此暂时只支持维度名、指标名的模糊搜索；
实现原理：
粤ICP备14082021号
免费POC，
零成本试错
