大多数ICS漏洞都可以远程利用

此后不久，西班牙计算机应急反应小组CCN-CERT在其网站上发布了一则警告，称一场大规模勒索软件攻击影响了西班牙数家组织。该警告建议安装微软2017年3月安全公告中的更新，作为阻止攻击扩散的手段。与此同时，英国国家卫生服务体系(NHS)也发布了警报，并在16家医疗机构确认了感染病例。

卡巴斯基系统监视程序组件对于阻止这些攻击非常重要，在恶意样本设法绕过其他防御措施的情况下，System Watcher组件可以回滚勒索软件所做的更改。如果勒索软件样本越过防御措施并尝试对磁盘上的数据进行加密，这将非常有用。

随着分析的深入，研究人员开始了解到更多的东西;例如，这次感染依赖于一个著名的漏洞(代号为“EternalBlue”)，该漏洞通过Shadowbrokers在2017年4月14日的转储在互联网上发布，并在3月14日被微软修复。尽管这个补丁已经发布两个月了，但似乎很多公司都没有打补丁。研究人员整合了几个博客，更新了研究人员的技术支持页面，确保所有的样本都被检测到并阻止，即使是在易受“EternalBlue”攻击的系统上。

WannaCry勒索软件在世界各地广泛使用

WannaCry事情发生后，研究人员就在寻找与已知犯罪分子或APT团体的任何可能联系，，试图确定该恶意软件如何能够在短短几天内引起这种大流行。对于勒索软件来说，研究人员很少看到全新的，从头开始构建的大流行级别的样本。在大多数情况下，勒索软件攻击利用了一些流行的恶意软件，这些恶意软件由犯罪分子在地下论坛上出售。

然而，研究人员无法找到任何已知勒索软件变种的链接。幸亏Google研究人员Neel Mehta在Twitter上发布了一条带有#WannaCryptAttribution标签的神秘消息：
 

此外，这部分还详细介绍了多个重要的高效 Transformer 模型，并分析了它们的优缺点和独特之处。这些模型包括：Memory Compressed Transformer、Image Transformer、Set Transformers、Sparse Transformers、Axial Transformers、Longformer、ETC、BigBird、Routing Transformers、Reformer、Sinkhorn Transformers、Linformer、Synthesizers、Performer、Linear Transformers、Transformer-XL和 Compressive Transformers。

具体细节此处不再赘述，详情参见原论文第三章。

论文最后讨论了这些模型的评估情况和设计趋势，并简要概述了可以提高 Transformer 效率的其他方法，如权重共享、量化 / 混合精度、知识蒸馏、神经架构搜索（NAS）和 Task Adapter
 

Transformer 块的特征是多头自注意力机制、position-wise 前馈网络、层归一化模块和残差连接。Transformer 模型的输入通常是形状为 R^B × R^N 的张量，B 表示批大小，N 表示序列长度。

输入首先经过嵌入层，嵌入层将每个 one-hot token 表示转换为 d 维嵌入，即 R^B × R^N × R^D 。然后将这个新的张量与位置编码（positional encoding）相加，并输入到多头自注意力模块中。位置编码可以采用正弦输入的形式，或者可训练嵌入。

多头自注意力模块的输入和输出由残差连接和层归一化层来连接。将多头自注意力模块的输出传送至两层前馈网络，其输入 / 输出通过残差和层归一化来连接。子层残差连接与层归一化可表示为：

其中 F_S 是子层模块，它要么是多头自注意力，要么是 position-wise 前馈层。

高效 Transformer 模型综述

这部分对高效 Transformer 模型进行了综述。首先我们来看不同模型的特点，表 1 列出了目前发布的高效 Transformer 模型，图 2 展示了多种重要高效 Transformer 模型的图示。

（编辑：揭阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!