大端存储和小端存储的区别

点击上方“大鱼机器人”，选择“置顶/星标公众号”
福利干货，第一时间送达！
编排 | strongerHuang
微信公众号 | 嵌入式专栏
我们学过数学，都知道有理数和无理数，然后在有理数中有一类叫浮点数的数字，不知道大家对这些还有没有印象？
在软件编程的时候，我们也会用到浮点数，一种既包含小数又包含整数的数据类型。
下面就来讲讲关于浮点数中，单精度、双精度、多精度和混合精度计算的区别。
嵌入式专栏
1
关于圆周率 π
我们提到圆周率 π 的时候，它有很多种表达方式，既可以用数学常数3.14159表示，也可以用一长串1和0的二进制长串表示。
圆周率 π 是个无理数，既小数位无限且不循环。因此，在使用圆周率进行计算时，人和计算机都必须根据精度需要将小数点后的数字四舍五入。
在小学的时候，小学生们可能只会用手算的方式计算数学题目，圆周率的数值也只能计算到小数点后两位——3.14；而高中生使用图形计算器可能会使圆周率数值排到小数点后10位，更加精确地表示圆周率。在计算机科学中，这被称为精度，它通常以二进制数字来衡量，而非小数。
对于复杂的科学模拟，开发人员长期以来一直都依靠高精度数学来研究诸如宇宙大爆炸，或是预测数百万个原子之间的相互作用。
数字位数越高，或是小数点后位数越多，意味着科学家可以在更大范围内的数值内体现两个数值的变化。
借此，科学家可以对最大的星系，或是最小的粒子进行精确计算。
但是，计算精度越高，意味着所需的计算资源、数据传输和内存存储就越多。其成本也会更大，同时也会消耗更多的功率。
由于并非每个工作负载都需要高精度，因此 AI 和 HPC 研究人员可以通过混合或匹配不同级别的精度的方式进行运算，从而使效益最大化。NVIDIA Tensor Core GPU 支持多精度和混合精度技术，能够让开发者优化计算资源并加快 AI 应用程序及其推理功能的训练。
嵌入式专栏
2
单精度、双精度和半精度浮点格式之间的区别
  
IEEE 浮点算术标准是用来衡量计算机上以二进制所表示数字精度的通用约定。在双精度格式中，每个数字占用64位，单精度格式占用32位，而半精度仅16位。
要了解其中工作原理，我们可以拿圆周率举例。在传统科学记数法中，圆周率表示为3.14 x100。但是计算机将这些信息以二进制形式存储为浮点，即一系列的1和0，它们代表一个数字及其对应的指数，在这种情况下圆周率则表示为1.1001001 x 21。
在单精度32位格式中，1位用于指示数字为正数还是负数。指数保留了8位，这是因为它为二进制，将2进到高位。其余23位用于表示组成该数字的数字，称为有效数字。
而在双精度下，指数保留11位，有效位数为52位，从而极大地扩展了它可以表示的数字范围和大小。半精度则是表示范围更小，其指数只有5位，有效位数只有10位。
圆周率在每个精度级别表现如下：
  
嵌入式专栏
3
多精度和混合精度计算的差异
多精度
计算意味着使用能够以不同精度进行计算的处理器，在需要使用高精度进行计算的部分使用双精度，并在应用程序的其他部分使用半精度或单精度算法。
混合精度(也称为超精度)计算则是在单个操作中使用不同的精度级别，从而在不牺牲精度的情况下实现计算效率。
在混合精度中，计算从半精度值开始，以进行快速矩阵数学运算。但是随着数字的计算，机器会以更高的精度存储结果。例如，如果将两个16位矩阵相乘，则结果为32位大小。
使用这种方法，在应用程序结束计算时，其累积得到结果，在准确度上可与使用双精度算法运算得到的结果相媲美。
这项技术可以将传统的双精度应用程序加速多达25倍，同时减少了运行所需的内存、时间和功耗。它可用于 AI 和模拟 HPC 工作负载。
随着混合精度算法在现代超级计算应用程序中的普及，HPC 专家 Jack Dongarra 提出了一个新的基准，即 HPL-AI，以评估超级计算机在混合精度计算上的性能。
混合精度计算主要用于现在很火人工智能领域，感兴趣的读者可以上网搜索更多关于混合精度计算的内容。
-END-
| 整理文章为传播相关技术，版权归原作者所有 |
| 如有侵权，请联系删除 |
往期好文合集
搞懂C语言指针，看这篇就够了！
聊聊指针
「2020年电赛」电源题详细技术方案，立即收藏！
最 后
若觉得文章不错，转发分享，也是我们继续更新的动力。
5T资源大放送！包括但不限于：C/C++，Linux，Python，Java，PHP，人工智能，PCB、FPGA、DSP、labview、单片机、等等！
在公众号内回复「更多资源」，即可免费获取，期待你的关注~
    

13.25用二进制表示的结果及single和double 
1101.01

因为1101.01=2^3+2^2+0*2^1+2^0+0*2^-1+2^-2

=8+4+0+1+0+1/4=13.25

integer：只能表示整数，不能有小数点，正负数都可以，最大32767

Long：也只能表示整数，正负都可以，最大2147483648

single：单精度，可以有小数点，最大长度是8位

double：双精度，可以有小数点，最大长度是16位

currency：专门用来表示货币的

单精度和双精度数值类型最早出现在C语言中（比较通用的语言里面），在C语言中单精度类型称为浮点类型（Float），顾名思义是通过浮动小数点来实现数据的存储。这两个数据类型最早是为了科学计算而产生的，他能够给科学计算提供足够高的精度来存储对于精度要求比较高的数值。但是与此同时，他也完全符合科学计算中对于数值的观念：


当我们比较两个棍子的长度的时候，一种方法是并排放着比较一下，一种方法是分别量出长度。但是事实上世界上并不存在两根完全一样长的棍子，我们测量的长度精度受到人类目测能力和测量工具精度的限制。从这个意义上来说，判断两根棍子是否一样长丝毫没有意义，因为结果一定是False，但是我们可以比较他们两个哪个更长或者更短。这个例子很好地概括了单精度/双精度数值类型的设计初衷和存在意义。


基于上述认识，单精度/双精度数值类型从一开始设计的时候，就不是一个准确的数值类型，他只保证在他这个数值类型的精度之内是准确的，精度之外则不保证，比方说，一个数值5.1，很可能存储在单精度/双精度数值中的实际值是5.100000000001或者5.09999999999999。导致这个现象的原因我们可以通过两种方式来解释：


简单的解释方法：


你可以尝试在任何一个控件的属性面板中，设定他的宽度为：3.2CM，当你输入完毕后，你会发现值自动变成了3.199cm，无论你怎么改，你都无法输入3.200CM，因为实际上在电脑中存储的并不是CM为单位的数值，而是“缇”为单位的数值，而“缇”和CM之间的比值，是个很难被除尽的数，因此你输入完毕后，电脑自动转换成了最接近的“缇”值，然后再转换成厘米显示到属性面板上，这一乘一除，两次四舍五入，误差就出来了。单精度/双精度也是类似的原理，其实在二进制存储的时候，单精度/双精度都采用了类似相近分数的方法，而这样的存储是不可能做到准确的。


深入的解释方法：


让我们来看看我们存储到数字介质中的单精度/双精度值到底是怎么样的，我们使用如下代码对单精度类型进行一个解剖：


Public Declare Sub CopyMemory Lib "kernel32" Alias "RtlMoveMemory" (Destination As Any, Source As Any, ByVal Length As Long)




Public Sub floatTest()

Dim dblVar As Single


dblVar = 5.731 / 8

dblOutput dblVar


dblVar = dblVar * 2

dblOutput dblVar


dblVar = dblVar * 2

dblOutput dblVar


dblVar = dblVar * 2

dblOutput dblVar


dblVar = dblVar * 2

dblOutput dblVar


dblVar = dblVar * 2

dblOutput dblVar


End Sub


Public Sub dblOutput(ByVal dblVar As Single)

Dim bytVar(3) As Byte

Dim i As Integer, j As Integer

Dim strVar As String


CopyMemory ByVal VarPtr(bytVar(0)), ByVal VarPtr(dblVar), 4

strVar = dblVar & ": "

For i = 3 To 0 Step -1

For j = 7 To 0 Step -1

strVar = strVar & (bytVar(i) And 2 ^ j) / 2 ^ j

Next j

strVar = strVar & " "

Next i

Debug.Print strVar


End Sub

运行后我们得到输出结果（输出格式为高位左，低位右）：


.716375: 00111111 00110111 01100100 01011010 

1.43275: 00111111 10110111 01100100 01011010 

2.8655: 01000000 00110111 01100100 01011010 

5.731: 01000000 10110111 01100100 01011010 

11.462: 01000001 00110111 01100100 01011010 

22.924: 01000001 10110111 01100100 01011010

这里，我们把单精度类型转化成了二进制数据输出，这里我们看到，虽然这六个数字完全不同，但是他们的二进制存储惊人地相似，我们看到红色标记部分，每次都是加1，事实上，单精度数据类型使用从高位开始第1位作为正负标记位（绿色），第2位到第9位，是一个跨字节的有符号字节类型数据，这个数值决定了小数点移动的方向和位数（红色），第10位到32位保存一个整数（蓝色）在存储过程中，电脑首先把输入的值不断移位（乘除2）直到这个数的整数部分占用了全部24位的整数位，然后把移动的位数写入浮点部分（红色），而移位后的结果写入整数部分（蓝色和绿色），小数部分则舍弃。求值的时候则是反向过程，先根据正负位和整数位求值，然后根据红色部分的整数来进行移位（乘除2的次方），最终才是我们得到的单精度数值。双精度数值也是同样原理，只是位数更多而已。


通过解剖单精度数值的二进制存储格式，我们可以清楚看到，实际上单精度/双精度的存储，都要通过乘法和除法，其中必有舍入，如果恰好你的数值在除法中被舍入了，那么你赋的初值就很可能与你最终存储的值不完全相同，其中的微小差异，并不与单精度/双精度的设计目标相违背。


当我们在数据库中或者VBA代码中使用一个单精度/双精度数值的时候，也许你从界面上看不到区别，但是在实际的存储中，这个差别却真真切切地就在那里，当你对其进行相等比较的时候，系统只是简单地作二进制的比较，界面上无法体现的微小差异，在二进制比较面前却无处遁形，于是，你的等于比较返回了一个意料之外的False。

　　double 和 float 的区别是double精度高，有效数字16位，float精度7位。但double消耗内存是float的两倍，double的运算速度比float慢得多，C语言中数学函数名称double 和 float不同，不要写错，能用单精度时不要用双精度（以省内存，加快运算速度）。
　　 float和double的精度是由尾数的位数来决定的。浮点数在内存中是按科学计数法来存储的，其整数部分始终是一个隐含着的“1”，由于它是不变的，故不能对精度造成影响。
	float：2^23 = 8388608，一共七位，这意味着最多能有7位有效数字，但绝对能保证的为6位，也即float的精度为6~7位有效数字；
  double：2^52 = 4503599627370496，一共16位，同理，double的精度为15~16位。