AI基础
AI可以简单理解为人类让机器处理复杂的任务。
机器学习（Machine Learning）是指利用大量数据训练，讲得到的结果（算法）用到后续的数据决策/预测中。
优势：各大开源框架，上下游生态成熟，模型开发/部署使用门槛较低；不需要复杂的特征提取工作，能通过大量训练数据达到优于传统机器学习算法的准确性。
劣势：需要大量训练数据才能有效果；计算和训练成本较高；缺乏理论基础，进一步优化较难。
AI自身安全
1、内容质量：一本正经的胡说八道，体现在答案存在错误、偏见。当然还有版权、伦理、欺诈。
2、安全方面：数据外泄、复杂问题无法处理、对安全认知比较浅、安全知识库还是太少了、大模型底座能力不太行
相似点：我们学到的知识他也学到了，我们各自输出错误的知识，他也学到了。案例。
不同点：在于原先安全体系都是建立在规则策略之上，无论是之前的基于威胁特征的黑名单模式，还是我们一直在探索的基于正常业务的行为可信。虽然在过程中也会融入一些智能，比如编排，但本质还是基于特定规则条件，是死的，容易绕过和突破。但llm能改变我们防御方式，不再是基于规则策略，而是真的一次次的实时智能威胁判断，相当于把一个安全专家铺在每次攻击的处理上，这是我认为最革新的点。
1、基于业务属性，金融+可信
2、目前阶段降低预期，在特定场景上利用好其优势。
3、优势包括意图识别、内容理解与推理、文本生成/分类/总结、翻译、问答、代码生成等。降低依赖其原始学习的知识。
4、作为提效利器。让我们安全同学能够少花点时间在琐碎事情上，作为助手。
人能够理解模型在决策过程中所做出的选择（Why、How、What）。
避免黑盒：预防灾难和重大缺陷，避免非预期行为。自动驾驶
新的知识：学习AI带来的新的知识。比如AlphaGo走出的新的招法。
合法合规：对监管遵循法规、审计、履行责任；对用户，增强信任、理解决策后果。
业务需要：用户被封，要有合理解释；
模型的可视化；使用解释性模型；使用知识图谱；协同知识蒸馏等框架；
归纳法：基于变量趋势（PDP、ICE、ALE）；基于样本（Influential Instances/Counterfactual Instance）；
演绎法：基于梯度（Saliency Maps/Integrated Gradient/Gradient*input/DeepLIFT）；基于微扰/代理（SHAP/LIME/Deepred）；基于内部逻辑（XNN/PLNN/Treeinterpreter）；
主要方法仍然停留在模型内部的局部解释，局部的可解释性是否能得到正确的全局可解释性存疑。真的需要苛求可解释性嘛，人脑的决策也缺乏解释性手段。
白盒方面：FGSM，神经网络的脆弱性主要源自其存在的线性本质，使用FGSM生成的对抗样本添加到训练集中再训练，实现对抗训练。I-FGSM是对FGSM的改进，采用迭代的方式更精确的寻找攻击点，比原先单步方法更高的白盒攻击成功率。PGD；DeepFool；C&W。
黑盒方面：通过训练一个替代模型，使用替代模型来生成对抗样本，可以采用Ensemble的策略提升效果；ZOO（Zeroth Order Optimization），通过利用模型返回的Confidence Score来估算其梯度，从而达成不需要训练替代模型也能实现攻击的目的。
AI助力安全
1、安全助手，做一些提效的事情。比如安全答疑，LLM+安全语料库（安全政策解读、安全规范制度、漏洞案例、防御方案）；统一交互入口，利用LLM意图识别能力，进行功能分发调用
2、攻击以及防御的提升，优化策略完备性、基于基础数据的威胁意图识别（主机命令）、钓鱼邮件/代码/webshell生成与识别、验证码识别、日志解析与响应、事件响应；
1、大模型+小模型协同
2、多Agent，将接口升级为Agent，多AI协同、自编排能力
3、自然语言驱动所有安全运营工作
4、从助手到助理，帮助我们提质又提效。
拍摄屏幕（摩尔纹、边框、反光）、截屏、篡改、重复、水印、复印等
音系变化：拼音全拼、拼音近音、同音字、近音字、拼音缩写
形变：特殊字符/字体、形近字、表情符、拆字、合并字
语序变化：间隔符、遮字、乱序
其它：叠字、语义不通等