本篇文章给大家带来的内容是关于python中预处理以及热图的简单介绍，有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。
在数据分析当中的东西还是很多的，我在这里只是启发式的介绍一下，了解到这方面的东西之后，使用的时候可以更快的找到解决办法，希望能对大家有所帮助。
这次，依然是使用的sklearn中的iris数据集，对其进行通过热图来展示。
预处理
sklearn.preprocessing是机器学习库中预处理的模块，可以对数据进行标准化处理，正则化等等，根据需求来使用。在这里利用它的标准化方法对数据进行整理。其他的方法可以自行查询。
Standardization标准化:将特征数据的分布调整成标准正态分布，也叫高斯分布，也就是使得数据的均值为0，方差为1。
标准化的原因在于如果有些特征的方差过大，则会主导目标函数从而使参数估计器无法正确地去学习其他特征。
标准化的过程为两步：去均值的中心化(均值变为0)；方差的规模化(方差变为1)。
在sklearn.preprocessing中提供了一个scale的方法，可以实现以上功能。
下面举个例子来看一下：
from sklearn import preprocessing import numpy as np # 创建一组特征数据，每一行表示一个样本，每一列表示一个特征 xx = np.array([[1., -1., 2.],               [2., 0., 0.],               [0., 1., -1.]]) # 将每一列特征标准化为标准正太分布，注意，标准化是针对每一列而言的 xx_scale = preprocessing.scale(xx) xx_scale
经过对每列数据进行标准化处理之后的结果是：
array([[ 0.        , -1.22474487,  1.33630621],        [ 1.22474487,  0.        , -0.26726124],        [-1.22474487,  1.22474487, -1.06904497]])
可以看到，里面的数据发生了变化，数值比较小，也许有人可以一眼看出来，看不出来也没有关系，Python可以很方便的计算他们的一些统计量。
# 测试一下xx_scale每列的均值方差  print('均值：', xx_scale.mean(axis=0))  # axis=0指列，axis=1指行  print('方差：', xx_scale.std(axis=0))
上面已经介绍了标准化的是要将它转换成什么样，结果的确吻合，按列求均值和方差的结果为：
均值： [0. 0. 0.] 方差： [1. 1. 1.]
当然对于标准化其方差和均值也不是一定要一起进行，比如有时候仅仅希望利于其中一个方法，也是有办法的：
with_mean,with_std.这两个都是布尔型的参数，默认情况下都是true,但也可以自定义成false.即不要均值中心化或者不要方差规模化为1.
热图
关于热图在这里只简单提一下，因为网上关于它的资料已经很多很详细了。
在热图中，数据以矩阵的形式存在，属性范围用颜色的渐变来表示，在这里，使用pcolor绘制热图。
小栗子
还是从导库开始，然后加载数据集，对数据进行处理，然后绘制图像，并对图像做一些标注装饰等等。我习惯在代码中做注释，如果有不明白的，可以留言，我会及时回复。
# 导入后续所需要的库 from sklearn.datasets import load_iris from sklearn.preprocessing import scale import numpy as np import matplotlib.pyplot as plt # 加载数据集 data = load_iris() x = data['data'] y = data['target'] col_names = data['feature_names'] # 数据预处理 # 根据平均值对数据进行缩放 x = scale(x, with_std=False) x_ = x[1:26,] # 选取其中25组数据 y_labels = range(1, 26) # 绘制热图 plt.close('all') plt.figure(1) fig, ax = plt.subplots() ax.pcolor(x_, cmap=plt.cm.Greens, edgecolors='k') ax.set_xticks(np.arange(0, x_.shape[1])+0.5) # 设置横纵坐标 ax.set_yticks(np.arange(0, x_.shape[0])+0.5) ax.xaxis.tick_top() # x轴提示显示在图形上方 ax.yaxis.tick_left() # y轴提示显示在图形的左侧 ax.set_xticklabels(col_names, minor=False, fontsize=10) # 传递标签数据 ax.set_yticklabels(y_labels, minor=False, fontsize=10) plt.show()
那么绘制出的图像是什么样子的呢：
上面简单的几步就把这些数据绘制出直观的图像，当然，在真正使用的时候不会这么简单，还需要多扩充知识。
阅读全文
1 个人已赞赞一个收藏 (0)打赏
您入群打赏务必备注QQ号
支付宝扫一扫赞助
微信钱包扫描赞助
分享到：
生成海报
评论 1
评论前必须登录！
#1
支持
10个月前 (02-19)
登录以回复

IDC对于一些初创企业貌似是一个陌生的名词，但随着企业业务的发展，开始建立自己网站的时候，中小企业主才开始对IDC这个词有一定的认知。

而在SEO实战中我们发现，选择一个好的IDC服务商对于搜索营销有着至关重要的作用，它直观影响企业网站SEO的数据指标。



那么，IDC是什么意思，中小企业如何选择IDC机房？

根据以往搜索引擎排名的经验，我们将通过如下内容，进一步说明：

IDC是什么意思？

简单理解：IDC主要是指互联网数据中心（InternetDataCenter，简称IDC）是指一种拥有完善的设备（包括高速互联网接入带宽、高性能局域网络、安全可靠的机房环境等）、专业化的管理、完善的应用的服务平台。

在这个平台基础上，IDC服务商为客户提供互联网基础平台服务（服务器托管、虚拟主机、邮件缓存、虚拟邮件等）以及各种增值服务（场地的租用服务、域名系统服务、负载均衡系统、数据库系统、数据备份服务等）。

常用的IDC服务，有哪些？

对于中小企业主和一些草根站长而言，我们在选择IDC服务商的时候，经常使用的IDC服务主要包括如下内容：

①虚拟主机相关业务，比如：云虚拟主机

②服务器托管，它包括：自有服务器的托管，以及使用IDC服务商云服务器的业务。

③域名系统服务，它最为常见的就是提供域名的注册与解析，部分IDC服务商还提供域名抢注与交易等功能。

④邮件群发，利用邮件营销是中小企业常用的一种推广方式。

⑤服务器性能监控：定期审查服务器状态，反馈相关数据指标给用户。

⑥网站cdn加速：cdn加速同样是一个重要值得关注的服务。

中小企业，如何选择IDC服务商？

从目前来看，IDC行业确实存在着一些良莠不齐的现象，有的公司混水摸鱼，作为信息不对称一方的站长跟企业用户，确实是需要多了解一些IDC资讯，从而避免造成不必要的损失。

因此，你可能需要：

1、品牌知名度

当你在审查一个IDC服务商的时候，你可能需要经常查看一些IDC资讯与IDC评测的相关数据指标，其次，我们同样建议是优选选择一些知名品牌，比如：

①阿里云https://www.aliyun.com/

②腾讯云https://cloud.tencent.com/

③百度云https://cloud.baidu.com/

等一系列知名互联网公司所提供的相关云服务。

2、IDC机房位置

在IDC服务商选择的过程中，有一个重要的影响因子就是，我们选择其所能够提供的IDC机房所在线路与地理位置，其中，一个重要的原因就是，如果你的目标用户，刚好在IDC机房的区域，那么，你的网站访问速度一定是相对较快的，这非常有利于搜索引擎。

针对IDC机房的线路而言，我们通常分为：

①香港IDC

香港IDC主要是指在香港地区的IDC服务商，而有的时候，更多的是强调香港IDC的线路，一般来讲，香港IDC线路是不用做网站ICP备案的。

②国外IDC

而国外IDC主要是指国外的IDC服务商，同样，一般在国内做外贸的小伙伴，经常会使用国外IDC提供的主机服务。

3、IDC服务响应

在选择IDC服务商的时候，我们一是看对方相关产品的稳定性，二就是看IDC主机商的售后服务能力，当你有一个问题的时候，对方是否可以在较短的时间周期内，为你解答相关问题，比如：

①线上工单较快的回复

②详尽的线上邮件沟通

4、IDC性价比

对于中小企业主而言，我们在选择IDC服务的时候，更多的时候可能是会看他的性价比，简单的就是和多个IDC主机商，进行价格横向对比。

特别是针对对方每年在特定节日给出的优惠活动进行一个详尽的对比，最终选择自己的IDC服务商。

5、IDC数据备份

在选择IDC机房的时候，我们经常需要考察一个IDC机房抵御风险的能力，比如：面对自然灾害的影响，面对黑客的攻击。

对方是否有能力足够的提供数据相关备份服务，以及快速的应急响应。

总结：在选择IDC服务的时候，对于中小企业而言，我们更多侧重点在考量SEO的影响因素，而上述内容，仅供参考。

蝙蝠侠IT   https://www.batmanit.com/h/223.html   转载需授权！

写文章，有哪些基本要求，需要注意什么
文/@成长新视点
写文章，是日常生活工作中的一个组成部分。一篇好的文章，会准确传达作者思想和目的，为读者带来知识能量、愉悦心情等。
文章的种类有很多，按体裁划分，为记叙文、说明文、议论文和应用文等四大类别，各种体裁的文章，对内容、格式等有不同的具体要求。
写文章，总体来说，要遵循突出中心思想、语言文字精准、标点符号恰当、语句通顺流畅、段落层次分明和文章格式合规等六个基本要求。
一、突出中心思想。
一篇文章，会有一个中心思想，文章的内容都会围绕这个中心思想而逐步展开。正常情况的写法，在文章开篇作者就要点出中心思想，向读者传递这篇文章想要表达的核心内容是什么。
特别是应用文，它的标题也会把中心思想用简单的语言进行表达出来，让人一目了然。
二、语言文字精准。
语言是文章的细胞，是文章的生命。在措辞用字上，应通俗易懂，要精准表达人物思想、描述事物特征、刻画人物形象、叙述事情过程等，要正确向读者传递信息。
尽可能少有生僻字，不能有歧义、错别字和含混不清的文字和语言，容易造成意思误解及认知偏差。
三、标点符号恰当。
标点符号，是文章中辅助语言表达的组成部分，用来表示语句中的停顿、结束、语气及词语的性质和作用，能够辅助语言文字精准表达作者意图。
标点符号使用错误，会造成语句混乱、语意错误、语气不正确等问题，很多时候还有可能达不到表述的意图，甚至是造成了相反的意义。
四、语句通顺流畅。
语句通顺流畅，是一篇好文章的基本要求。要正确用词，对语句中的主、谓、宾等词语进行正确组织搭配，合理排列顺序，保持正确的逻辑关系。
做到语句通顺流畅，最基本的原则是不能存在语法、逻辑关系及语言规范等常识性问题。至于，做到语句优美，则是词语选择、使用、组织和搭配方面的技巧，需要有深厚的文字功底和文化素养等。
五、段落层次分明。
段落层次，指的是文章思想内容的表现次序，它反映和表现客观事物的发展阶段和矛盾的各个侧面。相当于是对一篇文章的内容进行分层、递进，使文章表达的意思有层次感、有规律性、有系统性。
在一篇文章中，围绕主题思想的表达，会有各个层面的内容来证明、衬托和叙述，这里就需要有一个清晰的思路，先写什么，后写什么，每一个段落都有自己的核心内容。
段落与段落之间，又会存在一定的前后呼应、关联等内部关系。
段落层次分明，会让读者很清晰地知道，作者在某个阶段表达的意图是什么，接下来，可能会有什么内容。
六、文章格式合规。
文章格式合规，主要是指一篇文章的体裁格式要符合具体要求。记叙文、说明文、议论文和应用文等，在文章格式和结构上要求各不一样。
其中，应用文按性质分，就有一般性、公文性和事务性等三大类别，公文性的应用文就有15种。各种应用文的格式又各不相同，写作时必须按照要求创作。

CDN的全称是ContentDelivery Network，即内容分发网络。它是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。
简单来说，CDN就是为了网络内容访问速度“更快“而生的。那么如今的网络本身四通八达，为什么还需要CDN呢？
一、为什么需要CDN？
举个简单的例子，假设我们忽略网络传输的损耗、设备延时，网络传输速度接近光速，是30万公里每秒，从东京到美国硅谷的距离大概为1万公里，也就是说，如果你的服务器在东京，你上传了一张很小的图片，美国用户访问至少需要60毫秒。而且，这只是理论数据，现实世界中，网络环境是十分复杂的，跨地域、跨运营商、网络拥塞、抖动等问题，都会积少成多，使得延时成倍增加，还有可能访问失败，最终影响访问体验。
CDN的出现，正是为了解决这个问题。我们将这张图片分发并缓存在美国的CDN节点之上，美国用户就无需从东京获取数据，直接从就近的美国本地CDN节点获取到图片，这大大节省了传输时间，提升访问效率。CDN的节点通常会遍布全球，源站的文件会被被缓存到世界各地，这样全球用户都可以实现快速访问。
它有点像分布于各地的仓储物流点，很多品牌会预先在仓储物流点储备一些爆款商品（静态文件使用CDN进行缓存），当用户从电商平台下单购买货物的时候（用户发起请求），平台根据用户的收获地址就近匹配到最近的仓储物流点并直接进行派货（就近分发），让用户以最快的速度拿到快递包裹（分发的内容）。我们可以用实际的生活经验来做个对比，如果从江浙沪包邮区寄给杭州的用户，一般第二天就能到，如果是从北京、深圳发货，一般需要2-3天！
这就是CDN的缘起。简单来说，它就是一个分布式的缓存服务器，主要作用就是尽可能减少资源在转发、传输、链路抖动等情况下的时延，保障信息的连贯与极速。当下，我们生活在互联网世界，视频和直播在数据上有巨大的吞吐量，CDN扮演着护航者和加速者的角色，更快速、稳定地将信息触达每一个用户。
二、CDN的工作原理
下面，我们来进一步了解下CDN的工作原理。首先，关于CDN的那些名词，需要扫个盲
Origin Server源站：做 CDN之前的客户真正的服务器。
User：访问者，也就是要访问网站的网民。
Last Mile：最后一公里，也就是网民到他所访问到的 CDN 服务器之间的路径。
域名：域名是Internet网络上的一个服务器或一个网络系统的名字，全世界，没有重复的域名。
CNAME记录：它是一个别名记录( Canonical Name )；当 DNS 系统在查询 CNAME 左面的名称的时候，都会转向 CNAME 右面的名称再进行查询，一直追踪到最后的 PTR 或 A 名称，成功查询后才会做出回应，否则失败。
CNAME域名：CDN的域名加速需要用到CNAME记录，在阿里云控制台配置完成CDN加速后，您会得到一个加速后的域名，称之为CNAME域名（该域名一定是.http://kunlun.com）， 用户需要将自己的域名作CNAME指向这个.http://kunlun.com的域名后，域名解析的工作就正式转向阿里云，该域名所有的请求都将转向阿里云CDN的节点。
DNS：DNS即Domain Name System，是域名解析服务的意思。它在互联网的作用是：把域名转换成为网络可以识别的ip地址。人们习惯记忆域名，但机器间互相只认IP地址，域名与IP地址之间是一一对应的，它们之间的转换工作称为域名解析，域名解析需要由专门的域名解析服务器来完成，整个过程是自动进行的。比如：上网时输入的http://www.baidu.com会自动转换成为220.181.112.143
边缘节点：也称CDN节点、Cache节点等；是相对于网络的复杂结构而提出的一个概念，指距离最终用户接入具有较少的中间环节的网络节点，对最终接入用户有较好的响应能力和连接速度。其作用是将访问量较大的网页内容和对象保存在服务器前端的专用cache设备上，以此来提高网站访问的速度和质量。
Cache：cache高速缓冲存储器一种特殊的存储器子系统，其中复制了频繁使用的数据以利于快速访问。存储器的高速缓冲存储器存储了频繁访问的RAM位置的内容及这些数据项的存储地址。当处理器引用存储器中的某地址时，高速缓冲存储器便检查是否存有该地址。如果存有该地址，则将数据返回处理器;如果没有保存该地址，则进行常规的存储器访问。因为高速缓冲存储器总是比主RAM存储器速度快，所以当RAM的访问速度低于微处理器的速度时，常使用高速缓冲存储器。、
接下来是CDN的工作原理，最简单的CDN网络由一个DNS服务器和几台缓存服务器组成，如下图所示：
①当用户点击网站页面上的内容URL，经过本地DNS系统解析，DNS系统会最终将域名的解析权交给CNAME指向的CDN专用DNS服务器。
②CDN的DNS服务器将CDN的全局负载均衡设备IP地址返回用户。
③用户向CDN的全局负载均衡设备发起内容URL访问请求。
④CDN全局负载均衡设备根据用户IP地址，以及用户请求的内容URL，选择一台用户所属区域的区域负载均衡设备，告诉用户向这台设备发起请求。
⑤区域负载均衡设备会为用户选择一台合适的缓存服务器提供服务，选择的依据包括：根据用户IP地址，判断哪一台服务器距用户最近；根据用户所请求的URL中携带的内容名称，判断哪一台服务器上有用户所需内容；查询各个服务器当前的负载情况，判断哪一台服务器尚有服务能力。基于以上这些条件的综合分析之后，区域负载均衡设备会向全局负载均衡设备返回一台缓存服务器的IP地址。
⑥全局负载均衡设备把服务器的IP地址返回给用户。
⑦用户向缓存服务器发起请求，缓存服务器响应用户请求，将用户所需内容传送到用户终端。如果这台缓存服务器上并没有用户想要的内容，而区域均衡设备依然将它分配给了用户，那么这台服务器就要向它的上一级缓存服务器请求内容，直至追溯到网站的源服务器将内容拉到本地。
三、CDN的关键技术组件
看似复杂庞大的CDN系统，其中有几个关键技术组件：调度、缓存和安全。
1、 调度是 CDN 中的重中之重，流量接入、流量牵引、选择合适的 CDN 节点服务器等工作，都是在调度环节完成的。具体调度的解释，可以参考《CDN 之我见》系列一：原理篇（由来、调度）
2、 缓存也叫 Cache，是 CDN 领域最重要的一个组成部分，对于静态内容分发，大至视频点播、文件下载，小至 html 页面、jpg/gif/png 图片、css/js 等，都可以缓存到本地，最终用户（网民）访问时，不必回到原始服务器拿取数据，从而节省了时间、降低了源站服务器的网络带宽支出和负载。对于 CDN 来说，每台 Cache 机器每天的请求量是十分惊人的，磁盘上所存储的内容量也多得可怕，十几块 TB 级的硬盘被塞满数据也是很正常的事情，因此当一个请求到来时，能迅速检索出磁盘上的文件并读取、吐给最终用户成了一件很重要的事情。具体的缓存，可以参考《CDN 之我见》系列二：原理篇（缓存、安全）
3、 针对各类网络攻击，比如带宽饱和攻击、反射攻击等蛮力型攻击，还有XSS跨站、SQL注入、漏洞利用等技巧型攻击，CDN可以从隐藏源站、分布式架构、安全防护三个层面进行安全防护。首先，当网站接入CDN后，源站信息会被隔离，攻击者就无法直接对源站进行直接攻击，其次，CDN天然分布式架构可以当某些节点被攻击的时候，很快察觉异常并智能调度至正常节点，确保业务稳定，再次，对于技巧性攻击，在CDN边缘节点前置安全防护能力，与中心联动形成更完整、更贴近边缘的防护策略，有利于安全隐患的拦截。
四、CDN可以应用在哪些场景？
1、网站与应用加速
网站或者应用中大量静态资源的加速分发，如各类型图片、html、css、js文件等，可以通过CDN缓存到边缘节点上，当用户访问即可就近获取。网站内容也存在相当一部分动态内容，比如电子商务、游戏和企业应用类网站，会存在很多如.aspx、.asp、.jsp、.php等为后缀的动态请求加速。通常缓存对静态内容支持得较好，而当面临动态内容请求的时候，一般会回源，源站再将内容传节点，进而传给用户，传输链路步骤增多，这势必会影响传输质量与效率。所以针对动态内容，CDN也提出了新的加速方法，就是利用智能选路、传输协议优化等算法寻找最快的传输路径，自动躲避拥堵和不稳定线路，以此来提升回源效率，实现动、静混合网站的加速效果保障。
2、视频、大文件下载分发加速
CDN可以针对各类文件、在线点播视频提供下载、分发加速，比如mp4、flv视频文件或者单个文件大小在20M以上的安装包等文件，CDN可以搭配对象存储OSS使用，提升回源速度，节约近2/3回源带宽成本。
3、直播加速
在体育或者游戏赛事直播中，通常成千上万的用户瞬间涌入，直播平台要承担高并发访问，一旦带宽不足，用户的观看就会产生卡顿、延时、评论刷不出来、连麦不成功，甚至最后直播直接瘫痪，用户无法观看。CDN结合弹性伸缩服务，及时调整服务器带宽，应对突发访问流量。可以为直播分发提供流畅的播放下行链路，借助负载均衡系统将将主播端采集的音视频数据推送到接近用户的数千个边缘节点，当观众端发起请求，就可以就近取得资源，减少网络抖动风险，增加直播链路稳定性和流畅性。
4、移动应用加速
CDN可以为移动APP更新文件（apk文件）分发，移动APP内图片、页面、短视频、UGC等内容的优化提供加速分发效果。提供httpDNS服务，避免DNS劫持并获得实时精确的DNS解析结果，有效缩短用户访问时间，提升用户体验。
阿里云CDN全民加速节活动火热进行中，感兴趣的用户可以登录阿里云官网，搜索“全民加速节”进行选购。