没有基准就没有优化！所以这里有一些建议的解决方案和性能度量。初始化代码为：N = 2000;
 
nk = 10;
 
where = false([N, N]);
 
where(1:100, 1:100) = 1;
 
data = (5.+j)*ones([N, N, nk]);
 
我用函数timeit对函数计时，如下所示：
 
^{pr2}$
 
作为比较，当我对问题中给出的Numpy函数执行完全相同的操作时，它的运行速度是0.0167s
 
带有2个循环的初始Matlab函数运行时间约为0.34秒，等效Numpy函数(有2个循环)运行速度较慢，运行时间为0.42秒。这可能是因为Matlab使用JIT编译。在
 
我可以删除reshape，因为find已经返回了线性索引。我喜欢它，因为代码更简洁，但是reshape无论如何都非常便宜，因此它并不能真正提高函数的性能：function dealiasing2d(where, data)
 
[n1, n0, nk] = size(data);
 
N = n0*n1;
 
ind_zeros = find(where);
 
for ik=1:nk
 
data(ind_zeros + N*(ik-1)) = 0;
 
end
 
这个函数需要0.23秒，比有两个循环的解决方案快，但与Numpy解决方案相比非常慢(慢14倍！)。这就是我写问题的原因。在
 
这个解决方案涉及N*N*nk乘法(乘1或0)，这显然是太多的工作，因为我们只需将100*100*nk值放入数组data中。但是，这些乘法可以矢量化，因此与其他Matlab解决方案相比“相当快”：0.23s，即与使用find的第一个解相同！在
 
Both solutions proposed by Divakar涉及创建一个大小为N*N*nk的大数组。没有Matlab循环，所以我们可以期待更好的性能，但是。。。在function dealiasing2d_bsxfun2(where, data)
 
[n1, n0, nk] = size(data);
 
idx = bsxfun(@plus, find(where), [0:nk-1]*n1*n0);
 
data(idx) = 0;
 
耗时0.23秒(与其他函数的时间量相同！)以及function dealiasing2d(where, data)
 
data(repmat(where,[1,1,size(data,3)])) = 0;
 
耗时0.30秒(比其他Matlab解决方案多20%)。在
 
总之，在这种情况下，似乎有些东西限制了Matlab的性能。也可能是Matlab中有更好的解决方案，或者我在基准测试上做了些错误。。。如果使用Matlab和pythonnumpy的人能够提供其他时间安排，那就太好了。在
 
编辑：
 
关于Divakar注释的更多数据：
 
对于N=500；nk=500：Method | time (s) | normalized
 
| |
 
Numpy | 0.05 | 1.0
 
Numpy loop | 0.05 | 1.0
 
Matlab bsxfun | 0.70 | 14.0
 
Matlab find | 0.75 | 15.0
 
Matlab bsxfun2 | 0.76 | 15.2
 
Matlab loop | 0.77 | 15.4
 
Matlab repmat | 0.96 | 19.2
 
对于N=500；nk=100：Method | time (s) | normalized
 
| |
 
Numpy | 0.01 | 1.0
 
Numpy loop | 0.03 | 3.0
 
Matlab bsxfun | 0.14 | 12.7
 
Matlab find | 0.15 | 13.6
 
Matlab bsxfun2 | 0.16 | 14.5
 
Matlab loop | 0.16 | 14.5
 
Matlab repmat | 0.20 | 18.2
 
对于N=2000；nk=10：Method | time (s) | normalized |
 
| | |
 
Numpy | 0.02 | 1.0 |
 
Matlab find | 0.23 | 13.8 |
 
Matlab bsxfun2 | 0.23 | 13.8 |
 
Matlab bsxfun | 0.24 | 14.4 |
 
Matlab repmat | 0.30 | 18.0 |
 
Matlab loop | 0.34 | 20.4 |
 
Numpy loop | 0.42 | 25.1 |
 
我真的很奇怪为什么Matlab和Numpy相比显得那么慢。。。在

 
最近真的被mask搞得晕晕的，还是需要好好的看下哦
 
1、padding mask：处理非定长序列，区分padding和非padding部分，如在RNN等模型和Attention机制中的应用等
 
2、sequence mask：防止标签泄露，如：Transformer decoder中的mask矩阵，BERT中的[Mask]位，XLNet中的mask矩阵等
 
PS：padding mask 和 sequence mask非官方命名
 
嗯，上面的解释还是很晕的，还是要具体解读一下的
 
后面读了具体论文之后如有错误再修改
 
RNN中的Mask
 
对于RNN等模型，本身是可以直接处理不定长数据的，因此它不需要提前告知 sequence length，如下是pytorch下的LSTM定义：
 
nn.LSTM(input_size, hidden_size, *args, **kwargs)
 
但是在实践中，为了 batch 训练，一般会把不定长的序列 padding 到相同长度，再用 mask 去区分非 padding 部分和 padding 部分。
 
区分的目的是使得RNN只作用到它实际长度的句子，而不会处理无用的 padding 部分，这样RNN的输出和隐状态都会是对应句子实际的最后一位。另外，对于token级别的任务，也可以通过mask去忽略 padding 部分对应的loss。
 
不过，在 pytorch 中，对 mask 的具体实现形式不是mask矩阵，而是通过一个句子长度列表来实现的，但本质一样。实现如下，sentence_lens 表示的是这个batch中每一个句子的实际长度。
 
Attention中Mask
 
在 Attention 机制中，同样需要忽略 padding 部分的影响，这里以transformer encoder中的self-attention为例：
 
防止标签泄露
 
在语言模型中，常常需要从上一个词预测下一个词，但如果要在LM中应用 self attention 或者是同时使用上下文的信息，要想不泄露要预测的标签信息，就需要 mask 来“遮盖”它。不同的mask方式，也对应了一篇篇的paper，这里选取典型的几个。
 
Transformer中的Mask
 
Transformer 是包括 Encoder和 Decoder的，Encoder中 self-attention 的 padding mask 如上，而 Decoder 还需要防止标签泄露，即在 t 时刻不能看到 t 时刻之后的信息，因此在上述 padding mask的基础上，还要加上 sequence mask。
 
sequence mask 一般是通过生成一个上三角矩阵来实现的，上三角区域对应要mask的部分。
 
在Transformer 的 Decoder中，先不考虑 padding mask，一个包括四个词的句子[A,B,C,D]在计算了相似度scores之后，得到下面第一幅图，将scores的上三角区域mask掉，即替换为负无穷，再做softmax得到第三幅图。这样，比如输入 B 在self-attention之后，也只和A，B有关，而与后序信息无关。
 
self-attention中，Q和K在点积之后，需要先经过mask再进行softmax，因此，对于要屏蔽的部分，mask之后的输出需要为负无穷，这样softmax之后输出才为0。
 
BERT中的Mask
 
BERT实际上是Transformer的Encoder，为了在语言模型的训练中，使用上下文信息又不泄露标签信息，采用了Masked LM，简单来说就是随机的选择序列的部分token用 [Mask] 标记代替。
 
这波Mask操作，思想很直接，实现很简单，效果很惊人。
 

 
标签：NLP,Transformer,sequence,Mask,attention,mask,padding,作用
 
来源： https://www.cnblogs.com/gaowenxingxing/p/13709013.html

MATLAB编程技巧：设置Simulink模块中的mask属性
 
通过m代码设置Simulink中Subsystem的mask属性，也可以直接删除mask上的注释
 
下面展示一些 内联代码片。
 
% 设置subsysytem中的mask
% Example:
%        SubsystemMaskSet('Model')   

%% File Content
function SubsystemMaskSet(ModelName)
All_Subsystem = getfullname(Simulink.findBlocks(ModelName,'BlockType','SubSystem'));

for i = 1 : size(All_Subsystem)
    
    if ischar(All_Subsystem)
        open_system(All_Subsystem);
    else
        open_system(All_Subsystem{i});
    end
    
    set_param( gcs,'ContentPreviewEnabled','off');
    
    set_param( gcs, 'Mask', 'on' );
    
    set_param( gcs, 'MaskDisplay', '' );
    %set_param( destination_path, 'MaskDisplay', [ 'image(imread(''', block.picture, '''))' ] );
    
    set_param( gcs, 'MaskIconFrame', 'off' );
end

 
Icon&port
 
 
 
 
 
  
%%外型图表封装

%%1.曲线型标注：
plot(cos(0:0.1:2*pi),sin(0:0.1:2*pi))

%%2.文字型标注：
disp('PID\n控制器')

%%3.曲线加文字型标注：
plot(cos(0:0.1:2*pi),sin(0:0.1:2*pi))
disp('PID\n控制器')

%%4.图像型标注：
image(imread('sdu.jpg'))

%%5.传递函数型标注：
droots([-1],[-2 -3],4 ,'z')  %%zpk传递函数模型
 
 
 
 
Parameters
 
 
 
 
Initialization
 
 
 
 
当打开model时，所有可视的masked模块的Initialization中的语句执行。初始不可视的模块的Initialization的语句只有在打开包含它们的model或者subsystem时菜执行。
 
 
   当你没有使用图示的方法加载模块进内存时，Initialization语句不会执行。
 
 
   在下面的情况下，模型中所有masked模块的Initialization语句都执行：
 
 
Update the diagram（不知道这个是个什么情况）；
Start simulation；
Start code generation。
 
  在下面的情况下，单个模块的Initialization语句会执行：
 
 
使用Mask Editor或者set_param改变mask的任何一个参数(例如MaskDisplay 和 MaskInitialization )；
改变masked block的外观，例如旋转模块或改变模块大小；
通过对话框或set_param改变模块的mask参数值；
在不同的model或同一个model内复制masked block。
 
Documentation
 
 
 
 
 
Mask type：出现在对话框的block classification。当出现在对话框时，后面总是有"(mask)"后缀。该区域可以输入任意合法的matlab字符，但不能输入line break；
 
 
Mask description：此处文本出现在对话框中描述模块功能。这里可以输入line break（使用enter或return键）；
 
 
Mask help：此处的内容将在点击help按钮时起作用，可以在其中输入下面三种内容：
 
 
URL specification；
web或eval命令；
文本或者html文本。
 
如图所示：对应关系
 
 
 
 
 
 
转载于:https://www.cnblogs.com/kui-sdu/p/8992744.html