概述：本文基于langchain和Cyber Security Breaches数据集构建Agent，并基于该Agent实现了数据分析、趋势图输出、预测攻击态势三个功能，最后给出Agent在安全领域应用的三点启示。

一、选定数据集

    数据集的选择是根据我们想要做的事情定的，基于我们的目标事件，去HG上寻找是否有相关数据集。这里笔者想要分析网络安全漏洞影响，所以选择了“Cyber Security Breaches”数据集。

&&网络安全漏洞库Cyber Security Breaches

    Cyber Security Breaches数据集，该数据集包含了各种有关网络安全漏洞的信息，如受影响组织的名称、国家、受影响人数、数据泄露类型等。用户可以通过该页面查看数据集的详细信息，并使用Hugging Face库进行数据集的访问和处理。页面提供了数据集的统计信息、示例数据和数据集字段的详细描述，帮助用户更好地了解数据集内容。

数据集地址：https://huggingface.co/datasets/schooly/Cyber-Security-Breaches/viewer

    上传数据集：下载好Cyber Security Breaches到本地计算机后运行上传代码，并打印前面10行进行有原数据进行比对并确认无错误。

from google.colab import files
def load_csv_file():#"""Loads a CSV file into a Pandas dataframe."""
uploaded_file = files.upload()file_path = next(iter(uploaded_file))document = pd.read_csv(file_path)return document
if __name__ == "__main__":document = load_csv_file()#print(document)

二、基于langchian搭建agent

    通常来说，基于langchain搭建agent主要包含定义代理类型、配置工具和语言模型，并根据需要将代理部署在应用程序中等步骤：以下是一个基于 LangChain 搭建基本 `agent` 的示例流程：

2.1、安装依赖

确保安装了 `LangChain` 和其他必要的依赖。

```python!pip install langchain!pip install openai```

2.2、导入模块

导入 `LangChain` 的核心模块，包括代理、工具和语言模型。

```pythonfrom langchain.agents import initialize_agent, Toolfrom langchain.llms import OpenAIfrom langchain.agents.agent_types import AgentType```

2.3、定义语言模型

设置 OpenAI 的语言模型，比如 `ChatOpenAI` 或 `OpenAI`，并调整温度等参数来控制模型响应的创造性。

```pythonllm = OpenAI(api_key="your_openai_api_key", temperature=0)```

2.4、配置工具

定义代理将使用的工具（Tool），这些工具可以包括搜索、数据库查询、文件读取等操作。

```pythontools = [Tool(name="search_tool",func=lambda query: "Search result for: " + query,# 假设一个简单的搜索工具description="这个工具用于从搜索引擎中获取信息。")]```

langchain常见工具举例，本文将使用到PandasDataFrame工具进行数据分析。

2.5、 初始化代理

使用 `initialize_agent` 函数创建代理，指定类型、工具和语言模型。

```pythonagent = initialize_agent(tools=tools,llm=llm,agent_type=AgentType.ZERO_SHOT_REACT_DESCRIPTION,# 设置代理类型verbose=True# 启用详细模式以跟踪代理执行过程)```

2.6、使用代理

一旦代理配置完成，便可以用自然语言向代理发送请求，并获取相应的响应。

```pythonquery = "What are the latest trends in cybersecurity?"response = agent.run(query)print(response)```

常用代理类型

- **Zero-Shot React**：适用于直接响应的代理，主要用于简单的 Q&A。
- **Self-Ask with Search**：将复杂问题分解成简单问题，并使用搜索工具查找答案。
- **React Docstore**：适合访问和查询文档库数据的代理类型。

扩展功能
你可以根据需求添加更多工具，或使用特定的代理类型来处理特定任务，比如 `Structured Chat` 用于多输入工具或复杂聊天对话。

代理的应用场景
可以将构建的代理用于各种应用场景，包括智能客服、数据分析助手、文档检索工具等。

https://carta.blog.csdn.net/article/details/143366461?spm=1001.2014.3001.5502

三、 智能体应用

3.1、创建Agent

基于langchain框架导入模块并创建数据框agent，通过 create_pandas_dataframe_agent 函数，创建了一个 Pandas 数据框代理 sm_ds_OAI。该代理会与 OpenAI 的模型结合，能够接受自然语言的指令来分析和查询 document 中的数据，实现智能的数据处理和分析

# 导入模块from langchain.agents.agent_types import AgentType#导入 AgentType 枚举，用于指定代理类型。
from langchain_experimental.agents.agent_toolkits import create_pandas_dataframe_agent #从实验模块中导入 create_pandas_dataframe_agent 函数，这个函数允许我们创建一个 Pandas DataFrame 的智能代理。
from langchain_openai import ChatOpenAIfrom langchain_openai import OpenAI
#创建数据框代理sm_ds_OAI = create_pandas_dataframe_agent(OpenAI(temperature=0),document,verbose=True)

3.2、实践一：分析总结

    使用sm_ds_OAI.invok（）进行数据分析，invok是Langchain中向智能体发送自然语言指令的方法，它允许agent根据这些指令执行相关任务并返回结果，具体功能包括任务调度、自然语言执行、支持多种工具调用和生成响应。

sm_ds_OAI.invoke("请分析此数据，并用大约 100 字的中文简要说明。请将分析过程的标记，如'Thought'和'Action'替换为'思考'和'执行'")

在 LangChain 中，有多个方法可以用于执行不同任务。下面是一些常见的方法，包括说明、使用场景和 Python 调用示例：

运行上面的语言后，Agent开始运行，可以看到经过九步思考与执行后，agent给出了最终的分析结论。

> Finished chain.{'input': "请分析此数据，并用大约 100 字的中文简要说明。请将分析过程的标记，如'Thought'和'Action'替换为'思考'和'执行'", 'output': '根据对该数据的分析，可以发现该数据集包含1055条记录，涉及到不同州的医疗机构发生的违规事件。其中，受影响人数最多的州是加利福尼亚州，受影响人数最少的州是阿拉斯加州。同时，通过散点图可以发现，随着年份的增加，受影响人数也呈现增加的趋势。此外，还发现数据中存在大量缺失值，需要进一步处理。'}

备注：因为Observation数据较多，为节省空间，前面几步的内容不再文章内呈现。

此处想到这个画面应该不过分吧

图片来源：https://www.youtube.com/watch?v=zt9Oh_RZ5KU

3.3、实践二：趋势图输出

    在讲langchain中的invoke方法时有提到，run方法通常用于快速执行单步指令，适合简单任务。实践二基于run（）实现趋势图的绘制。

sm_ds_OAI.run("画一条体现整体安全的趋势图")

3.4、实践三：预测攻击态势

运行：   

sm_ds_OAI.invoke("""选择一个预测模型来预测攻击态势。使用这种类型的模型来预测在加利福尼亚州未来3年的平均攻击次数和受影响的人数。output输出的内容翻译为中文。""")

输出结果：'加利福尼亚州未来3年的平均攻击次数为536.27次，受影响的人数为41345.94人。'

四、安全应用启示

一、安全领域应用：将 Cyber Security Breaches数据集替换为用户的网络安全攻击日志，那么基于智能体开展态势分析、威胁狩猎、攻击溯源、态势预测、数据统计等工作均成为可能。

二、 数据安全：SOTA大模型效果虽然相对好，但是调用API方式存在数据安全的问题，国内政府、金融、能源等行业难以落地，本地部署安全领域垂直模型是一种可行路径。

三、价格昂贵：即使能接受数据外传，调用API方式的花费依然是个天文数字，笔者大概观测了下，上文实践一运行一次0.2元，实践三运行一次0.3元，而且是基于gpt-3.5-turbo，如果换位GPT4-O，实时流量检测场景下，一个用户平均一天1亿条HTTP日志，一条HTTP按照1000Token计算，每天的费用上亿美元，如此看来实时检测通过调用SOTA大模型API是天方夜谭，不过在安全分析场景（如态势分析）可以考虑。