今天是2025年4月8日，星期二，北京，天气晴。
关于可解释，其实是大模型的一个很有趣的话题，我们已经讲过多次了，例如，《大模型黑盒探秘：通过“电路追踪”（Circuit Tracing）揭示大模型内部推理机制？》(https://mp.weixin.qq.com/s/f7wvTcT08LJBOhtVwVwlLw)。注意，“电路”（Circuit）并不是传统意义上的电子电路，而是指一种计算图（computational graph），用于描述语言模型内部的计算过程和特征之间的相互作用。这种“电路”概念是类比于神经科学中的“神经回路”（neural circuits），用于揭示模型内部的信息处理机制。
然后呢，这块其实有出来一些新的可视化工具，都是同质化的，但我们还是可以看其内部实现机制，所以来看模型活动可视化工具OpenMAV实现细节。
此外，我们再来拆解一个项目，Yuxi-Know基于大模型的知识库与知识图谱问答实现思路，看看其知识库处理逻辑以及检索逻辑。
抓住根本问题，做根因，专题化，体系化，会有更多深度思考。大家一起加油。
一、大模型活动可视化工具OpenMAV实现细节
之前有比如Bertvis项目，对每一层的推理进行可视化，所以类似的工具轮子也越来越多，如最近又多了个可视化大模型内部运作的开源工具OpenMAV(模型活动可视化工具，https://github.com/attentionmech/mav)，基于Python的工具，旨在在文本生成过程中实时可视化大语言模型（LLM）的内部工作原理。
该工具通过交互式的基于终端的界面，为用户提供对模型内部结构的洞察。通过交互式终端界面，可实时可视化LLM在生成文本时的内部状态，包括注意力分布、MLP激活值和Token预测概率等，可通过插件轻松扩展可视化功能，并支持多种模型，如 GPT-2、Llama等。
1、是如何实现的？
比较有趣的是，其实现思路，可以在https://github.com/attentionmech/mav/blob/main/documentation.md中找到，核心思路是在生成token时拦截和处理LLM的内部状态来运行。它利用HuggingFace的transformers库（或未来可能支持的其他后端）来加载和与预训练模型交互。就是把里面的状态，每一步预测的token时，底层每一层的相应数值取出来，做一个动态可视化。
其核心工作流程如下：
首先，初始化，用户指定一个模型（例如gpt2）、一个提示和各种可视化参数。OpenMAV使用transformers库加载模型和分词器。
其次，token生成，启动一个token生成循环，将提示（或之前生成的token）输入模型。
然后，状态拦截，在每个生成步骤中，OpenMAV捕获模型的内部状态，包括：隐藏层激活（MLP激活）、注意力矩阵、下一个token的对数几率和概率
接着，数据处理，捕获的数据被处理以计算相关指标（例如，注意力熵、激活范数）。
最后，可视化，处理后的数据用于更新使用rich库的动态文本用户界面（UI）。该UI提供多个面板，用于可视化模型的内部状态。
外面再加入一层外部迭代，重复步骤token生成到可视化步骤，直到生成所需数量的token或用户中断进程。
2、有哪些可解释性的指标？
1）generated_text。显示到目前为止生成的文本，并突出显示最近预测的token。该面板显示生成的文本，显示长度受 --limit-chars 参数限制；最近预测的token会被突出显示（通常为绿色）；文本通过Rich的 Text 对象进行样式渲染。目的是用来清晰展示模型当前生成的文本内容。
2）top_predictions，显示序列中下一个位置的最有可能的token及其概率和对数几率。显示模型可能生成的下一个token的列表，对于每个token，显示token本身、该token被选中的概率（以百分比表示）、对数几率值（模型在 softmax 之前的原始输出），目的是帮助理解模型对其预测的信心程度，以及它考虑的其他替代选项。
3）output_distribution，可视化下一个位置所有可能token的概率分布。以类似直方图的形式展示概率分布。将排序后的token概率分组，每个组的概率总和用一个条形表示。条形的高度表示该组内的概率总和。目的是提供模型不确定性的总体视图以及概率分布的形状。
4）mlp_activations，显示模型中多层感知机（MLP）层的激活值。显示每个 MLP 层的激活值，使用条形图表示激活值的大小，条形图的颜色通常表示激活值的符号（正/负）。目的是允许可视化模型中前馈网络的内部计算过程。目的是提供关于哪些层最活跃以及它们如何对输出做出贡献的见解。
5）attention_entropy，显示模型中每一层的注意力分布的熵。显示每一层注意力的熵值，使用条形图表示熵的大小。较高的熵通常表示注意力模式更加多样化（模型关注的输入范围更广），而较低的熵表示注意力更加集中。目的是帮助理解模型如何关注输入序列的不同部分，可以指示模型是否专注于特定的单词或关系。
二、Yuxi-Know基于大模型的知识库与知识图谱问答实现思路
继续看RAG，看基于大模型的知识库与知识图谱问答系统，结合大模型RAG知识库与知识图谱技术，基于Llamaindex+VueJS+FastAPI+Neo4j构建，基于Neo4j的知识图谱问答能力，地址在：https://github.com/xerrors/Yuxi-Know。
其中，知识图谱部分，将图谱整理成jsonl格式，每行格式为：{“h”:”北京”,”t”:”中国”,”r”:”首都”} ，然后在网页的图谱管理中添加此文件。
值得注意的是，现阶段项目使用的OneKE自动创建知识图谱效果不佳，已暂时移除，建议在项目外创建知识图谱。
1、是如何实现的？
算法核心在：https://kkgithub.com/xerrors/Yuxi-Know/tree/main/src/core，算法的实现图如下：
1）数据输入部分，数据输入的两种格式，PDF和Word文档，以及一个存储三元组的数据库。
2）RAG Indexing (LlamaIndex)部分，数据首先通过RAG（Retrieval-Augmented Generation）索引处理，这里使用LlamaIndex，涉及到从文档中提取信息，并将其转换为适合检索和生成的格式。如样例数据在https://github.com/xerrors/Yuxi-Know/blob/main/test/data/A_Dream_of_Red_Mansions_10hui.txt
3）IE Tools（信息抽取工具）部分，数据也通过信息抽取工具进行处理，这些工具用于从文档中提取结构化信息，如实体、关系等，并将这些信息存储为三元组，但是IE Tools的处理过程正在进行优化，以提高效率或准确性。可以直接使用构建好的知识图谱数据，如：https://github.com/xerrors/Yuxi-Know/blob/main/test/data/A_Dream_of_Red_Mansions.jsonl
4）VectorStore Milvus部分，处理后的数据被存储在Milvus向量数据库中。Graph (neo4j)部分，图谱的数据也被存储在Neo4j图数据库中。知识图谱的操作部分在：https://github.com/xerrors/Yuxi-Know/blob/main/src/core/graphbase.py
5） 用户查询部分：用户的查询请求被发送到系统。WebSearch (基于Tavily)部分， 用户查询可以通过基于Tavily的网络搜索来处理；Response部分，系统根据用户的查询，从VectorStore、Graph数据库或WebSearch中检索信息，并生成响应返回给用户。
2、是如何进行检索的？
检索逻辑在：https://github.com/xerrors/Yuxi-Know/blob/main/src/core/retriever.py。可以看下流程图，如下：
可以整理成9个步骤：
1）用户输入查询：用户输入一个查询（query），并可能提供历史对话（history）和元数据（meta）。
2）Retriever.retrieval，检索流程的入口，初始化查询引用（refs）。
3）是否启用重写查询，根据配置或元数据判断是否需要重写查询。或者是否需要启动检索。
如果启用，调用Retriever.rewrite_query重写查询。如果不启用，直接使用原始查询。
4）识别实体，调用Retriever.reco_entities识别查询中的实体。
5）查询知识库，调用Retriever.query_knowledgebase查询知识库。
6）查询图数据库，调用Retriever.query_graph查询图数据库。
7）查询网络，调用Retriever.query_web查询网络。
8）构造查询，将知识库、图数据库和网络搜索的结果整合到查询中，调用Retriever.construct_query。
9）返回结果，返回最终的查询和引用（refs）。
参考文献
本文主要从源码拆解的角度介绍了模型活动可视化工具OpenMAV实现细节以及Yuxi-Know基于大模型的知识库与知识图谱问答实现思路，这些对于实现本身的理解会有帮助，大家可以看项目源代码，会有更多收获。
参考文献
1、https://github.com/attentionmech/mav/blob/main/documentation.md
2、https://github.com/xerrors/Yuxi-Know
（文：老刘说NLP）