精华内容
下载资源
问答
  • AI算力及评估

    千次阅读 2020-08-06 19:09:49
    AI 算力及评估 准备写一下关于算相关的文档,后续补全 算定义 算单位 芯片算评估 arm cpu 算评估 AI 异构计算芯片评估 算法占用算评估方法

    AI 算力及评估

    准备写一下关于算力相关的文档,后续补全

    算力定义

    算力单位

    FLOPS:“每秒浮点运算次数”,“每秒峰值速度”,“每秒所执行的浮点运算次数”(floating-point operations per second)
    它常被用来估算电脑的执行效能,尤其是在使用到大量浮点运算的科学计算领域中。

    一个MFLOPS(megaFLOPS)等于每秒一佰万(=10^6)次的浮点运算,

    一个GFLOPS(gigaFLOPS)等于每秒十亿(=10^9)次的浮点运算,

    一个TFLOPS(teraFLOPS)等于每秒一万亿(=10^12)次的浮点运算,(1太拉)

    一个PFLOPS(petaFLOPS)等于每秒一千万亿(=10^15)次的浮点运算,

    一个EFLOPS(exaFLOPS)等于每秒一佰京(=10^18)次的浮点运算。

    浮点计算峰值=处理器个数×处理器主频×每秒可进行的最高浮点运算次数(FMAD,乘加指令)

    芯片算力评估

    arm cpu 算力评估

    AI 异构计算芯片及评估

    算法占用算力评估方法

    展开全文
  • 注意机制基本原理详解应用

    千次阅读 多人点赞 2020-08-10 14:41:03
    注意模型最近几年在深度学习各个领域被广泛使用,无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中,都很容易遇到注意模型的身影。所以,了解注意机制的工作原理对于关注深度学习技术发展的...

    注意力模型最近几年在深度学习各个领域被广泛使用,无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中,都很容易遇到注意力模型的身影。所以,了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。

    1. 人类的视觉注意力

    从注意力模型的命名方式看,很明显其借鉴了人类的注意力机制,因此,我们首先简单介绍人类视觉的选择性注意力机制。

    图1 人类的视觉注意力

    视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像,获得需要重点关注的目标区域,也就是一般所说的注意力焦点,而后对这一区域投入更多注意力资源,以获取更多所需要关注目标的细节信息,而抑制其他无用信息。

    这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段,是人类在长期进化中形成的一种生存机制,人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。

    图1形象化展示了人类在看到一副图像时是如何高效分配有限的注意力资源的,其中红色区域表明视觉系统更关注的目标,很明显对于图1所示的场景,人们会把注意力更多投入到人的脸部,文本的标题以及文章首句等位置。

    深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似,核心目标也是从众多信息中选择出对当前任务目标更关键的信息。

    2. 什么是Attention机制?

      最近两年,注意力模型(Attention Model)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一。

      当我们人在看一样东西的时候,我们当前时刻关注的一定是我们当前正在看的这样东西的某一地方,换句话说,当我们目光移到别处时,注意力随着目光的移动也在转移,这意味着,当人们注意到某个目标或某个场景时,该目标内部以及该场景内每一处空间位置上的注意力分布是不一样的。---------(思考:对于图片,会有些特别显眼的场景会率先吸引住注意力,那是因为脑袋中对这类东西很敏感。对于文本,我们大都是带目的性的去读,顺序查找,顺序读,但是在理解的过程中,我们是根据我们自带的目的去理解,去关注的。 注意力模型应该与具体的目的(或者任务)相结合。)

    从Attention的作用角度出发,我们就可以从两个角度来分类Attention种类:Spatial Attention 空间注意力(图片)Temporal Attention 时间注意力(序列)。更具实际的应用,也可以将Attention分为Soft AttentionHard AttentionSoft Attention是所有的数据都会注意,都会计算出相应的注意力权值,不会设置筛选条件。Hard Attention会在生成注意力权重后筛选掉一部分不符合条件的注意力,让它的注意力权值为0,即可以理解为不再注意这些不符合条件的部分。

    3. Encoder-Decoder框架

    要了解深度学习中的注意力模型,就不得不先谈Encoder-Decoder框架,因为目前大多数注意力模型附着在Encoder-Decoder框架下,当然,其实注意力模型可以看作一种通用的思想,本身并不依赖于特定框架,这点需要注意。

    Encoder-Decoder框架可以看作是一种深度学习领域的研究模式,应用场景异常广泛。图2是文本处理领域里常用的Encoder-Decoder框架最抽象的一种表示。

    图2 抽象的文本处理领域的Encoder-Decoder框架

    文本处理领域的Encoder-Decoder框架可以这么直观地去理解:可以把它看作适合处理由一个句子(或篇章)生成另外一个句子(或篇章)的通用处理模型。对于句子对<Source,Target>,我们的目标是给定输入句子Source,期待通过Encoder-Decoder框架来生成目标句子Target。Source和Target可以是同一种语言,也可以是两种不同的语言。而Source和Target分别由各自的单词序列构成:

    Encoder顾名思义就是对输入句子Source进行编码,将输入句子通过非线性变换转化为中间语义表示C:

    对于解码器Decoder来说,其任务是根据句子Source的中间语义表示C和之前已经生成的历史信息

    来生成i时刻要生成的单词y_i

    每个yi都依次这么产生,那么看起来就是整个系统根据输入句子Source生成了目标句子Target。如果Source是中文句子,Target是英文句子,那么这就是解决机器翻译问题的Encoder-Decoder框架;如果Source是一篇文章,Target是概括性的几句描述语句,那么这是文本摘要的Encoder-Decoder框架;如果Source是一句问句,Target是一句回答,那么这是问答系统或者对话机器人的Encoder-Decoder框架。由此可见,在文本处理领域,Encoder-Decoder的应用领域相当广泛。

    Encoder-Decoder框架不仅仅在文本领域广泛使用,在语音识别、图像处理等领域也经常使用。比如对于语音识别来说,图2所示的框架完全适用,区别无非是Encoder部分的输入是语音流,输出是对应的文本信息;而对于“图像描述”任务来说,Encoder部分的输入是一副图片,Decoder的输出是能够描述图片语义内容的一句描述语。一般而言,文本处理和语音识别的Encoder部分通常采用RNN模型,图像处理的Encoder一般采用CNN模型。

    4. Attention模型

    本节先以机器翻译作为例子讲解最常见的Soft Attention模型的基本原理,之后抛离Encoder-Decoder框架抽象出了注意力机制的本质思想,然后简单介绍最近广为使用的Self Attention的基本思路。

    4.1 Soft Attention模型

    图2中展示的Encoder-Decoder框架是没有体现出“注意力模型”的,所以可以把它看作是注意力不集中的分心模型。为什么说它注意力不集中呢?请观察下目标句子Target中每个单词的生成过程如下:

    其中f是Decoder的非线性变换函数。从这里可以看出,在生成目标句子的单词时,不论生成哪个单词,它们使用的输入句子Source的语义编码C都是一样的,没有任何区别。

    而语义编码C是由句子Source的每个单词经过Encoder编码产生的,这意味着不论是生成哪个单词,y1,y2还是y3,其实句子Source中任意单词对生成某个目标单词yi来说影响力都是相同的,这是为何说这个模型没有体现出注意力的缘由。这类似于人类看到眼前的画面,但是眼中却没有注意焦点一样。

    如果拿机器翻译来解释这个分心模型的Encoder-Decoder框架更好理解,比如输入的是英文句子:Tom chase Jerry,Encoder-Decoder框架逐步生成中文单词:“汤姆”,“追逐”,“杰瑞”。

    在翻译“杰瑞”这个中文单词的时候,分心模型里面的每个英文单词对于翻译目标单词“杰瑞”贡献是相同的,很明显这里不太合理,显然“Jerry”对于翻译成“杰瑞”更重要,但是分心模型是无法体现这一点的,这就是为何说它没有引入注意力的原因。

    没有引入注意力的模型在输入句子比较短的时候问题不大,但是如果输入句子比较长,此时所有语义完全通过一个中间语义向量来表示,单词自身的信息已经消失,可想而知会丢失很多细节信息,这也是为何要引入注意力模型的重要原因。

    上面的例子中,如果引入Attention模型的话,应该在翻译“杰瑞”的时候,体现出英文单词对于翻译当前中文单词不同的影响程度,比如给出类似下面一个概率分布值:

    (Tom,0.3)(Chase,0.2) (Jerry,0.5)

    每个英文单词的概率代表了翻译当前单词“杰瑞”时,注意力分配模型分配给不同英文单词的注意力大小。这对于正确翻译目标语单词肯定是有帮助的,因为引入了新的信息。

    同理,目标句子中的每个单词都应该学会其对应的源语句子中单词的注意力分配概率信息。这意味着在生成每个单词yi的时候,原先都是相同的中间语义表示C会被替换成根据当前生成单词而不断变化的Ci。理解Attention模型的关键就是这里,即由固定的中间语义表示C换成了根据当前输出单词来调整成加入注意力模型的变化的Ci。增加了注意力模型的Encoder-Decoder框架理解起来如图3所示。

    图3 引入注意力模型的Encoder-Decoder框架

    即生成目标句子单词的过程成了下面的形式:

    而每个Ci可能对应着不同的源语句子单词的注意力分配概率分布,比如对于上面的英汉翻译来说,其对应的信息可能如下:

    其中,f2函数代表Encoder对输入英文单词的某种变换函数,比如如果Encoder是用的RNN模型的话,这个f2函数的结果往往是某个时刻输入xi后隐层节点的状态值;g代表Encoder根据单词的中间表示合成整个句子中间语义表示的变换函数,一般的做法中,g函数就是对构成元素加权求和,即下列公式:

    其中,Lx代表输入句子Source的长度,aij代表在Target输出第i个单词时Source输入句子中第j个单词的注意力分配系数,而hj则是Source输入句子中第j个单词的语义编码。假设下标i就是上面例子所说的“汤姆”,那么Lx就是3,h1=f(“Tom”) h2=f(“Chase”), h3=f(“Jerry”) 分别是输入句子每个单词的语义编码,对应的注意力模型权值则分别是0.6,0.2,0.2,所以g函数本质上就是个加权求和函数。如果形象表示的话,翻译中文单词“汤姆”的时候,数学公式对应的中间语义表示Ci的形成过程类似图4。

    图4 Attention的形成过程

    这里还有一个问题:生成目标句子某个单词,比如“汤姆”的时候,如何知道Attention模型所需要的输入句子单词注意力分配概率分布值呢?就是说“汤姆”对应的输入句子Source中各个单词的概率分布:(Tom,0.6)(Chase,0.2)(Jerry,0.2) 是如何得到的呢?

    为了便于说明,我们假设对图2的非Attention模型的Encoder-Decoder框架进行细化,Encoder采用RNN模型,Decoder也采用RNN模型,这是比较常见的一种模型配置,则图2的框架转换为图5。

    图5 RNN作为具体模型的Encoder-Decoder框架

    那么用图6可以较为便捷地说明注意力分配概率分布值的通用计算过程。(注意,图5中的Decoder 的H和输入的y下标是一致的;图6中的H和输出的y的下标是一致的。)

    图6 注意力分配概率计算

    对于采用RNN的Decoder来说,如果要生成 yi 单词,在时刻 i ,我们是可以知道在生成 Yi 之前的隐层节点i时刻的输出值 Hi 的,而我们的目的是要计算生成 Yi 时的输入句子单词“Tom”、“Chase”、“Jerry”对 Yi 来说的注意力分配概率分布,那么可以用i时刻的隐层节点状态 Hi 去一一和输入句子中每个单词对应的RNN隐层节点状态 hj 进行对比,即通过函数 F(hj,Hi) 来获得目标单词 Yi 和每个输入单词对应的对齐可能性,这个F函数在不同论文里可能会采取不同的方法,然后函数F的输出经过Softmax进行归一化就得到了符合概率分布取值区间的注意力分配概率分布数值(这就得到了注意力权重)。图5显示的是当输出单词为“汤姆”时刻对应的输入句子单词的对齐概率。绝大多数AM模型都是采取上述的计算框架来计算注意力分配概率分布信息区别只是在F的定义上可能有所不同

    图7可视化地展示了在英语-德语翻译系统中加入Attention机制后,Source和Target两个句子每个单词对应的注意力分配概率分布。

    图7 英语-德语翻译的注意力概率分布

    上述内容就是经典的Soft Attention模型的基本思想,那么怎么理解Attention模型的物理含义呢?一般在自然语言处理应用里会把Attention模型看作是输出Target句子中某个单词和输入Source句子每个单词的对齐模型,这是非常有道理的。

    目标句子生成的每个单词对应输入句子单词的概率分布可以理解为输入句子单词和这个目标生成单词的对齐概率,这在机器翻译语境下是非常直观的:传统的统计机器翻译一般在做的过程中会专门有一个短语对齐的步骤,而注意力模型其实起的是相同的作用。

    图8 Google 神经网络机器翻译系统结构图

    图8所示即为Google于2016年部署到线上的基于神经网络的机器翻译系统,相对传统模型翻译效果有大幅提升,翻译错误率降低了60%,其架构就是上文所述的加上Attention机制的Encoder-Decoder框架,主要区别无非是其Encoder和Decoder使用了8层叠加的LSTM模型。

    4.2 Attention机制的本质思想

    如果把Attention机制从上文讲述例子中的Encoder-Decoder框架中剥离,并进一步做抽象,可以更容易看懂Attention机制的本质思想。

    图9 Attention机制的本质思想

    我们可以这样来看待Attention机制(参考图9):将Source中的构成元素想象成是由一系列的<Key,Value>数据对构成,此时给定Target中的某个元素Query,通过计算Query和各个Key的相似性或者相关性,得到每个Key对应Value的权重系数,然后对Value进行加权求和,即得到了最终的Attention数值。所以本质上Attention机制是对Source中元素的Value值进行加权求和,而Query和Key用来计算对应Value的权重系数。即可以将其本质思想改写为如下公式:

    其中,Lx=||Source||代表Source的长度,公式含义即如上所述。上文所举的机器翻译的例子里,因为在计算Attention的过程中,Source中的Key和Value合二为一,指向的是同一个东西,也即输入句子中每个单词对应的语义编码(RNN中指的是隐藏层状态),所以可能不容易看出这种能够体现本质思想的结构。

    当然,从概念上理解,把Attention仍然理解为从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上,忽略大多不重要的信息,这种思路仍然成立。聚焦的过程体现在权重系数的计算上,权重越大越聚焦于其对应的Value值上,即权重代表了信息的重要性,而Value是其对应的信息。

    从图9可以引出另外一种理解,也可以将Attention机制看作一种软寻址(Soft Addressing):Source可以看作存储器内存储的内容,元素由地址Key和值Value组成,当前有个Key=Query的查询,目的是取出存储器中对应的Value值,即Attention数值。通过Query和存储器内元素Key的地址进行相似性比较来寻址,之所以说是软寻址,指的不像一般寻址只从存储内容里面找出一条内容,而是可能从每个Key地址都会取出内容,取出内容的重要性根据Query和Key的相似性来决定,之后对Value进行加权求和,这样就可以取出最终的Value值,也即Attention值。所以不少研究人员将Attention机制看作软寻址的一种特例,这也是非常有道理的。

    至于Attention机制的具体计算过程,如果对目前大多数方法进行抽象的话,可以将其归纳为两个过程:第一个过程是根据Query和Key计算权重系数,第二个过程根据权重系数对Value进行加权求和。而第一个过程又可以细分为两个阶段:第一个阶段根据Query和Key计算两者的相似性或者相关性;第二个阶段对第一阶段的原始分值进行归一化处理;这样,可以将Attention的计算过程抽象为如图10展示的三个阶段。

    图10 三阶段计算Attention过程

    在第一个阶段,可以引入不同的函数和计算机制,根据Query和某个Key_i,计算两者的相似性或者相关性,最常见的方法包括:求两者的向量点积、求两者的向量Cosine相似性或者通过再引入额外的神经网络来求值,即如下方式:

    第一阶段产生的分值根据具体产生的方法不同,其数值取值范围也不一样。第二阶段引入类似SoftMax的计算方式对第一阶段的得分进行数值转换,一方面可以进行归一化,将原始计算分值整理成所有元素权重之和为1的概率分布;另一方面也可以通过SoftMax的内在机制更加突出重要元素的权重。即一般采用如下公式计算:

    我们将a_i称之为注意力分布(概率分布), Sim_i或者表示为s(x_i,q)为注意力打分机制,有几种打分机制(对上面的扩充)。

    第二阶段的计算结果a_i即为value_i对应的权重系数,然后进行加权求和即可得到Attention数值:

    通过如上三个阶段的计算,即可求出针对Query的Attention数值,目前绝大多数具体的注意力机制计算方法都符合上述的三阶段抽象计算过程。这种编码方式为软性注意力机制(soft Attention),软性注意力机制有两种:普通模式(Key=Value)和键值对模式(Key!=Value)。

    图11 软性注意力机制(soft Attention)

    4.3 Self Attention模型

    通过上述对Attention本质思想的梳理,我们可以更容易理解本节介绍的Self-Attention模型。Self-Attention也经常被称为intra
    Attention(内部Attention),最近一年也获得了比较广泛的使用,比如Google最新的机器翻译模型内部大量采用了Self-Attention模型。

    在一般任务的Encoder-Decoder框架中,输入Source和输出Target内容是不一样的,比如对于英-中机器翻译来说,Source是英文句子,Target是对应的翻译出的中文句子,Attention机制发生在Target的元素Query和Source中的所有元素之间。而Self-Attention顾名思义,指的不是Target和Source之间的Attention机制,而是Source内部元素之间或者Target内部元素之间发生的Attention机制,也可以理解为Target=Source这种特殊情况下的注意力计算机制。其具体计算过程是一样的,只是计算对象发生了变化而已,所以此处不再赘述其计算过程细节。

    如果是常规的Target不等于Source情形下的注意力计算,其物理含义正如上文所讲,比如对于机器翻译来说,本质上是目标语单词和源语单词之间的一种单词对齐机制。那么如果是Self-Attention机制,一个很自然的问题是:通过Self Attention到底学到了哪些规律或者抽取出了哪些特征呢?或者说引入Self-Attention有什么增益或者好处呢?我们仍然以机器翻译中的Self Attention来说明,图11和图12是可视化地表示Self-Attention在同一个英语句子内单词间产生的联系。

    图12 可视化Self Attention实例

     

    图13 可视化Self Attention实例

    从两张图(图11、图12)可以看出,Self Attention可以捕获同一个句子中单词之间的一些句法特征(比如图11展示的有一定距离的短语结构)或者语义特征(比如图12展示的its的指代对象Law)。

    很明显,引入Self Attention后会更容易捕获句子中长距离的相互依赖的特征,因为如果是RNN或者LSTM,需要依次序序列计算,对于远距离的相互依赖的特征,要经过若干时间步步骤的信息累积才能将两者联系起来,而距离越远,有效捕获的可能性越小。

    但是Self-Attention在计算过程中会直接将句子中任意两个单词的联系通过一个计算步骤直接联系起来,所以远距离依赖特征之间的距离被极大缩短,有利于有效地利用这些特征。除此外,Self-Attention对于增加计算的并行性也有直接帮助作用。这是为何Self Attention逐渐被广泛使用的主要原因。

    5. Attention机制的应用

    前文有述,Attention机制在深度学习的各种应用领域都有广泛的使用场景。上文在介绍过程中我们主要以自然语言处理中的机器翻译任务作为例子,下面分别再从图像处理领域和语音识别选择典型应用实例来对其应用做简单说明。

    图14 图片-描述任务的Encoder-Decoder框架

    图片描述(Image-Caption)是一种典型的图文结合的深度学习应用,输入一张图片,人工智能系统输出一句描述句子,语义等价地描述图片所示内容。很明显这种应用场景也可以使用Encoder-Decoder框架来解决任务目标,此时Encoder输入部分是一张图片,一般会用CNN来对图片进行特征抽取,Decoder部分使用RNN或者LSTM来输出自然语言句子(参考图13)。

    此时如果加入Attention机制能够明显改善系统输出效果,Attention模型在这里起到了类似人类视觉选择性注意的机制,在输出某个实体单词的时候会将注意力焦点聚焦在图片中相应的区域上。图14给出了根据给定图片生成句子“A
    person is standing on a beach with a surfboard.”过程时每个单词对应图片中的注意力聚焦区域。

    图15 图片生成句子中每个单词时的注意力聚焦区域

    图15给出了另外四个例子形象地展示了这种过程,每个例子上方左侧是输入的原图,下方句子是人工智能系统自动产生的描述语句,上方右侧图展示了当AI系统产生语句中划横线单词的时候,对应图片中聚焦的位置区域。比如当输出单词dog的时候,AI系统会将注意力更多地分配给图片中小狗对应的位置。

    图16 图像描述任务中Attention机制的聚焦作用

     

    图17 语音识别中音频序列和输出字符之间的Attention

    语音识别的任务目标是将语音流信号转换成文字,所以也是Encoder-Decoder的典型应用场景。Encoder部分的Source输入是语音流信号,Decoder部分输出语音对应的字符串流。

    图16可视化地展示了在Encoder-Decoder框架中加入Attention机制后,当用户用语音说句子
    how much would a woodchuck chuck
    时,输入部分的声音特征信号和输出字符之间的注意力分配概率分布情况,颜色越深代表分配到的注意力概率越高。从图中可以看出,在这个场景下,Attention机制起到了将输出字符和输入语音信号进行对齐的功能。

    上述内容仅仅选取了不同AI领域的几个典型Attention机制应用实例,Encoder-Decoder加Attention架构由于其卓越的实际效果,目前在深度学习领域里得到了广泛的使用,了解并熟练使用这一架构对于解决实际问题会有极大帮助。

    下篇具体讲述self-attention。

    展开全文
  • 功率、算单位全球哈希能耗

    千次阅读 2021-07-24 00:58:11
    H/s: 是最小的单位,每秒做一次计算机随机的hash碰撞,就叫做Hash/s 单位简写成 H/s KH/s: 1KH/s=1000H/s 通常 K=千的意思,每秒1,000次哈希 MH/s:1MH/s=1000KH/s M是兆,1M=1000千 ,1MH/s=每秒1,000,000...

    功率单位

    mW(毫瓦),W(瓦),kW(千瓦),MW(兆瓦),GW(吉瓦),TW(太瓦)

    1TW = 10³GW = 10⁶MW = 10⁹kW = 10¹²W  

    1马力 = 745.7W 

    算力 

    H/s : 是最小的单位,每秒做一次计算机随机的hash碰撞,就叫做Hash/s 单位简写成 H/s

    KH/s : 1KH/s=1000H/s  通常 K=千的意思,每秒1,000次哈希

    MH/s :1MH/s=1000KH/s  M是兆,1M=1000千 ,1MH/s=每秒1,000,000次哈希

    GH/s:1GH/s =1000MH/s 每秒1,000,000,000次哈希。 10⁹ 

    TH/s :1 TH/s =1000GH/s  每秒1,000,000,000,000次哈希。 10¹² 

    PH/s:1 PH/s =1000TH/s 每秒1,000,000,000,000,000次哈希。  

    EH/s:1 EH/s =1000PH/s 每秒1,000,000,000,000,000,000次哈希。 

    算力规模 

    实时算力查询  可以在 btc 网站查询 

    主流加密货币当前全网算力规模(2019年7月)

    比特币能耗和全球耗电量比较 

    按 2021.7.11 算力   95 EH/s = 96 * 10^6 T 

    蚂蚁S19 PRO 矿机功耗算力110T,3250W,即每T 为 29.54W,即每T 一小时耗电0.02954kW。 

    每小时 耗电 : 96 * 10^6 T  * 0.02954 = 2,835,840 KW  

    每天耗电:  2,835,840 KW * 24 = 68,060,160 KW h

    每年耗电: 68,060,160 KW h * 365 = 24,841,958,400 KW h =  248 亿度电 

    2020年,中国全社会用电量 75110 亿千瓦时,同比增长3.1%。

    比特币每天生产的区块 ,900 个  

    2020年5月以前,每天理论上能产生的区块奖励为12.5(每个区块的奖励数量)*6*24(每小时产生6个区块,每天24个小时)=1800BTC

    比特币网络平均每10分钟出一个块,每个块的奖励目前是12.5个。最早的时候,每个块奖励50个BTC,没经过210000个区块被挖出后减半,大约每4年一次,预计下一次减半将在2020年5月,那时候每个区块的奖励将变成6.25个。

    2020年5月以后, 6.25 *  6 * 24 = 900 个 

    比特币能耗成本 

    一台矿机每天可挖得比特币的数量 = 一台矿机算力 ÷ 全网算力 × 每天比特币产出总量 

    按 2021.7.11 计算 1T 一天的挖矿数量  1T  ÷  96EH/s * 900 = 0.0000094 

    1T 每小时可以获得BTC数量为:0.0000094 ÷ 24 = 0.00000039

    挖币耗电(电费)一个比特币的耗电 = 挖一个比特币所用的算力T × 每T的耗电

    假设一小时内挖出一个比特币,则需要 1 ÷ 0.00000039 = 2 564 102 T 

    蚂蚁S19 PRO矿机功耗算力110T,3250W,即每T 为 29.54W,即每T 一小时耗电0.02954kW。(注:S19 Pro 属于较先进的矿机,如果计算 平均能耗比,可以乘以 1.5 - 2,作为全网平均 )

    耗电为 2,564,102 T * 0.02954=  75,744 KW

    假设电费为 0.3 元/度电 ,则挖一个比特币的耗电成本为 75,744 × 0.3 = 22723 元  

    展开全文
  • Python金融数据分析入门到实战

    万人学习 2019-09-26 17:08:33
    会用Python分析金融数据 or 金融行业会用Python 职场竞争更高 Python金融数据分析入门到实战 Get√金融行业数据分析必备技能 以股票量化交易为应用场景 完成技术指标实现的全过程 课程选取股票量化交易为应用场景...
  • soft attention(包括空间注意、通道注意)它们是pixel级 hard attention( local 注意)它们是region级 下面讲解空间注意、通道注意、local 注意的生成 本人知识水平有限,要是错误的话,欢迎指正,感谢...

    soft attention(包括空间注意力、通道注意力)软注意学习的目的是选择细粒度的重要像素点,它们是pixel级。
    hard attention( local 注意力) 硬注意学习则致力于搜索粗糙的潜在判别区域,它们是region级。
    他们在功能上有很大的互补性。他们的结合使用可以提高模型的性能

    下面讲解空间注意力、通道注意力、local 注意力的生成

    在这里插入图片描述

    空间注意力、通道注意力可行性解释

    64个通道的采样图(如可生成见我博客
    在这里插入图片描述
    通道注意力:
    就是对于每个channel赋予不同的权重,比如1,2处马的形状比较明显,所以理所当然,对1,2通道的权重比较大,3,4处权重小。

    空间注意力:
    空间注意力是对64个通道进行mean的一个操作,得到一个(w x h)的权重,mean的操作就学到了所有通道的整体分布,而抛弃了奇异的通道。比如说1,2的图可以很好的描绘出马的形状,而3,4就不行(但本质上它也是要显示出马的形状),但是通过mean后,得到的w x h权值共享后,给了3,4一定的权值描述,相当于给3,4一定的注意力,这样它们也可以描绘出马的形状。

    代码(展示的是Harmonious Attention Network for Person Re-Identification中SoftAttn生成的过程,与真实的通道注意力和空间注意力是有点差距的,忘知晓)

    class SpatialAttn(nn.Module):  # 输入x.shape=(32,3,256,128),对第三维度通道求mean=(32,1,256,128),一个卷积照片缩小一半,upsample恢复,再经过1x1 conv
    
        def __init__(self):
            super(SpatialAttn, self).__init__()
            self.conv1 = ConvBlock(1, 1, 3, s=2, p=1)
            self.conv2 = ConvBlock(1, 1, 1)
    
        def forward(self, x):
            # global cross-channel averaging
            x = x.mean(1, keepdim=True)  # x.shape=(32,3,256,128)  x.mean.shape按照通道求均值=(32,1,256,128)
            # 3-by-3 conv
            x = self.conv1(x)  # x.shape=(32,1,128,64)
            # bilinear resizing
            x = F.upsample(x, (x.size(2) * 2, x.size(3) * 2), mode='bilinear', align_corners=True)  # x.shape=(32,1,256,128)
            # scaling conv
            x = self.conv2(x)  # x.shape=(32,1,256,128)
            return x
    
    class ChannelAttn(nn.Module):
    
        def __init__(self, in_channels, reduction_rate=16):
            super(ChannelAttn, self).__init__()
            assert in_channels % reduction_rate == 0
            self.conv1 = ConvBlock(in_channels, in_channels // reduction_rate, 1)
            self.conv2 = ConvBlock(in_channels // reduction_rate, in_channels, 1)
    
        def forward(self, x):
            # squeeze operation (global average pooling)
            # x.shape=(32, 16, 256, 128)
            x = F.avg_pool2d(x, x.size()[2:])#torch.size([32,16,1,1])
            # excitation operation (2 conv layers)
            x = self.conv1(x)#torch.size([32,1,1,1])
            x = self.conv2(x)#torch.size([32,16,1,1])
            return x
    
    class SoftAttn(nn.Module):#软注意力(32,16,256,128)=空间注意力的输出(32,1,256,128)乘上通道注意力(32,16,1,1)
    
        def __init__(self, in_channels):
            super(SoftAttn, self).__init__()
            self.spatial_attn = SpatialAttn()
            self.channel_attn = ChannelAttn(in_channels)
            self.conv = ConvBlock(in_channels, in_channels, 1)
    
        def forward(self, x):#x.shape(32,16,256,128)
            y_spatial = self.spatial_attn(x)#32,1,256,128
            y_channel = self.channel_attn(x)#32,16,1,1
            y = y_spatial * y_channel#32,16,256,128
            y = F.sigmoid(self.conv(y))
            return y#torch.Size([32, 16, 256, 128])
    

    本人知识水平有限,要是错误的话,欢迎指正,感谢!

    碰巧,如果你看到了这篇文章,并且觉得有用的话 那就给个三连吧!

    在这里插入图片描述

    展开全文
  • 深度学习中的注意机制(2017版)

    万次阅读 多人点赞 2017-12-10 21:57:17
    本文以机器翻译为例,深入浅出地介绍了深度学习中注意机制的原理关键计算机制,同时也抽象出其本质思想,并介绍了注意模型在图像语音等领域的典型应用场景。 注意模型最近几年在深度学习各个领域被广泛...
  • 自己整理了一下Non-Local注意机制提出后,后续该注意机制的变体和在其他领域的应用!由于自己看论文数量有限,欢迎大家补充说明! 一、语义分割:\color{#FF3030}{一、语义分割:}一、语义分割: 1.CCnet-Criss...
  • 自然语言处理中注意机制综述

    千次阅读 2019-02-11 08:11:20
    https://www.toutiao.com/a6655120292144218637/       ...3.NLP中注意机制起源 4.NLP中的注意机制 5.Hierarchical Attention 6.Self-Attention 7.Memory-based Attention 8.Soft/Hard A...
  • 《自控》读书笔记实践

    千次阅读 2018-10-13 10:15:06
    提高自控的最有效途径,在于弄清自己如何失控、为何失控。如果你总拖到最后一分钟才开始工作;总是月光,信用卡透支;想放松一下,却熬夜上网;一直想减肥,总是挫败;那么这本书就是专门为你而写的。 作为一名...
  • 影响在职场的重要性

    千次阅读 2018-06-10 22:02:32
    前端时间参加了公司的管理培训,讲非职权影响。对于领导者来讲,如果不能提高自己的影响,那么是没办法做到让下属信服和追随的。整理了一下培训的收获。   影响的定义 运用一些别人所乐于接受的方式,改变...
  • 神经网络中的注意机制总结PyTorch实战

    万次阅读 多人点赞 2019-07-08 15:04:29
    当神经网络来处理大量的输入信息时,也可以借助人脑的注意机制,只选择一些关键的信息输入进行处理,用来提高神经网络的效率。在目前的神经网络模型中,可以将max pooling和gating机制近似地看作是自下而上的基于...
  • 图像处理注意机制Attention汇总(附代码)

    千次阅读 多人点赞 2021-07-09 14:43:07
    注意机制(Attention Mechanism)是机器学习中的一种数据处理方法,广泛应用在自然语言处理(NLP)、图像处理(CV)语音识别等各种不同类型的机器学习任务中。根据注意机制应用于域的不同,即注意权重施加的...
  • 2021年挖矿显卡算力及挖矿收益排行

    万次阅读 热门讨论 2021-03-20 23:13:52
    2021年挖矿显卡算力及挖矿收益排行 一、 GTX1060(6G) *1 一张1060 6G显卡成本2300元,电费按0.3元/度(具体电费请根据自己的情况增减)。参考算如下图: 挖矿收益排行榜:(每日净利即为去掉电费之后的纯收益) ...
  • 发一个9月初的小结,过去几天有些波动,但收益还是稳定在增加。 近三周挖矿收益变化 数据备注 本周使用的币安过去21天收益数据,仅供参考; 通过计算得到——【绝对平均值】,...本周算产出小结 比8月平均高出5分
  • 的定义评价

    千次阅读 2017-07-07 22:00:00
    :企业所有可调用计算资源的总和,涵盖软硬件,本地远程资源。 硬件包括PC,工作站和服务器等物理计算设备,智能仪器(比如示波器),以及其配套附件。软件包括操作系统(Windows系列,Linux等),开发环境...
  • 法(brute force method,也称为穷举法或枚举法)是一种简单直接地解决问题的方法,常常直接基于问题的描述,所以,蛮法也是最容易应用的方法。虽然,用蛮法设计的算法时间特性往往也是最低的,但是许多问题...
  • 很多比特币投资爱好者想自己挖矿,但是又不知道从何着手,挖矿的专业性和维护成本也成了很多矿工的拦路虎,还有另一种选择——通过云算挖矿挖掘比特币。 简单说,云算挖矿就是矿工通过购买数据中心运行的算...
  • 综述---图像处理中的注意机制

    万次阅读 多人点赞 2019-04-15 23:26:56
    论文阅读: 图像分类中的注意机制(attention) 介绍了Spatial transformer networks、Residual Attention Network、Two-level Attention、SENet、Deep Attention Selective Network 计算机视觉中的注意机制...
  • 同时结合大数据思想对孵化园区内的企业情况进行分析和建模,并运用大数据算法来完善和修正企业聚集度和竞争的分析,建立决策树模型进行园区招商决策的辅助分析,最后根据园区实际情况构建双创指数模型。
  • 或者以下三行:(自己还未来得真实复现,只是用别人的代码) inputs = Input(shape=(input_dims,)) attention_probs = Dense(input_dims, activation='softmax', name='attention_probs')(inputs) attention_...
  • 自从ETH拔地而起,越来越多的人加入了掘金之路,但运行这么久了,多少有些老矿机会出现掉算的情况,这就让我们白白损失了大部分算了,这挖矿这么能开心呢?来,大力矿工来帮你们分析。 原来6卡的AMD显卡矿机,...
  • 机器人的觉控制

    千次阅读 2019-03-28 21:24:10
    机器人的觉控制 初学机器人控制,对各种控制方法的概念较为糊涂,在此做个笔记。 关于机器人力觉控制方面,知乎上有一篇文章讲的比较好,我把它搬运过来,和大家分享一下。 @桂凯 机器人觉 1. 觉与智能 视觉...
  • 注意机制的基本思想和实现原理(很详细)

    万次阅读 多人点赞 2018-05-25 10:56:01
    注意模型最近几年在深度学习各个领域被广泛使用,无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中,都很容易遇到注意模型的身影。所以,了解注意机制的工作原理对于关注深度学习技术...
  • 人才吸引评价研究

    万次阅读 多人点赞 2018-12-03 14:04:43
      人才吸引评价模型研究 摘要 人才的吸引,是一个城市发展的...影响一个城市人才吸引的因素很多,每个城市或地区相应的条件存在差异,量化地分析各个因素对人才吸引水平影响的大小,提出针对性建议,是我...
  • 深度学习中的注意机制

    万次阅读 多人点赞 2018-06-21 17:07:17
    深度学习中的注意机制 深度学习中的注意机制 前言 Sequence to Sequence Sequence to Sequence 的各种形式 Attention Mechanism Attention 于机器翻译 Self-Attention 文字识别中的 Attention 推荐系统中...
  • 计算机视觉注意网络(一)——简介

    千次阅读 2020-07-01 10:03:51
    **注意机制(Attention Mechanism)**是机器学习中的一种数据处理方法,广泛应用在自然语言处理、图像识别语音识别等各种不同类型的机器学习任务中。注意机制本质上与人类对外界事物的观察机制相似。通常来说...
  • 显卡矿机3080显卡算力及超频参数

    万次阅读 2021-01-23 17:36:26
    部分3080因散热问题可能掉速,建议设置较高的风扇转速。...推荐超频 币种 算 功耗 温度 核心 显存 软显功耗 颗粒 ETH 96 MH/s 70 0 0 900~1200 235W 镁光 CFX 76 MH/s 80 0 100 0 270W 镁光 截图来自用户,仅供参考。
  • 显卡挖矿N卡3060Ti的算力及超频参数

    万次阅读 2021-01-23 21:12:16
    部分3060Ti因散热问题可能掉速,建议设置较高的风扇转速。...推荐超频 币种 算 功耗 温度 核心 显存 软显功耗 颗粒 ETH 59.36 MH/s 60 0 0 900~1200 121W 三星 CFX 45.56 MH/s 75 0 100 0 165W 三星 ETC同ETH
  • 以上数据来源:https://developer.nvidia.com/cuda-gpus
  • 凸包问题的蛮算法python实现

    千次阅读 2018-04-28 19:31:34
    凸包问题的蛮算法python实现蛮法的基本思想是先用排除法确定凸包的顶点,然后按逆时针顺序输出这些顶点。在判断点P是不是凸包上的顶点时,有如下性质:给定平面点集S,P,Pi,Pj,Pk是S中四个不同的点,如果P位于...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 679,785
精华内容 271,914
关键字:

及力