精华内容
下载资源
问答
  • Oracle跑得更快2—基于海量数据的数据库设计与优化  谭怀远著 ISBN978-7-121-13921-5 2011年7月出版 定价:69.00元 16开 452页 宣传语:国内第一本以作者10年的工作经历打造的  基于
     
    

    ITPUB技术丛书 

    让Oracle跑得更快2—基于海量数据的数据库设计与优化 

    谭怀远著

    ISBN978-7-121-13921-5

    2011年7月出版

    定价:69.00元

    16开

    452页

    宣传语:国内第一本以作者10年的工作经历打造的

            基于海量数据的数据库设计与优化的书籍

    内 容 简 介

    数据库设计,是最近几年才出现的技术领域,再早的时候,数据库是以一个黑盒的方式,附属到某个系统当中的,开发人员对它的关注非常少。

    近年来,由于很多系统数据量呈几何级数激增,各种性能问题日益凸显出来,而这种性能问题绝大多数都落在了数据的载体—数据库身上,因此,人们越来越关注数据库的性能。而一个数据库性能的好坏,通常是在系统设计阶段就决定了的,于是,将数据库从系统设计中拿出来单独进行设计,变得越来越主流了。

    这是一本以讨论海量数据环境下Oracle数据库设计与优化的书籍,也是作者10年来从事Oracle数据库工作的心得体会,是作者工作经验的结晶,这样的书籍并不多见。

    本书通篇围绕着在海量数据环境下,如何构造一个高效的Oracle数据库这一核心,将许多相关技术融汇到这个核心话题当中,这些技术包括:分区、索引、数据库对象属性、并行技术、只读表空间、初始化参数、几种常见的数据库架构,以及在特定数据库架构下数据库的备份和恢复等相关技术。

    本书适合于OracleDBA、开发人员、项目经理或者其他对数据库性能感兴趣的人员。

    怀远君写的第一本书《让Oracle跑得更快—Oracle 10g性能分析与优化思路》于2010年8月出版,曾经在China-pub(中国互动网)和当当网的销量榜的前列占据了很长时间。在给该书写序的时候,曾经想抛砖引玉,鼓励勤于笔耕的怀远君继续在优化问题上深入下去。现在时间过去了快一年,新书《让Oracle跑得更快2—基于海量数据的数据库设计与优化》也即将面世。

    针对海量数据的数据库设计方面的书,在国内市面上并不多见,本书可以看成国内作者在这个领域里一个新的探索和尝试。随着近年来很多系统中数据量呈几何级数的暴增,对于存放这些数据的数据库的关注,被提到了一个新的高度,这完全是系统需求使然,而系统需求,即为用户需求,海量数据的数据库设计,不可避免地变成系统设计中的一个新领域。

    纵观全书,可以视为作者第一本书的内容延续和技术的继续探讨,在第一本书里没有涉及的分区、索引、压缩、RAC、存储规划等内容,在本书里均进行了深入讨论。

    关系数据库诞生已经有30多年时间,这几十年是数据大量增长、信息爆炸的年代,经过积累,很多应用的数据量已经非常可观。作为这些数据的载体、容器,数据库承受着日益增长的压力。如何面对海量数据带来的存储、查询速度、灾备等方面的压力,是每位数据库工程师所必须面对的课题。

    本书的内容,对于处于一线面临海量数据压力的专业人员具有很好的参考价值;同时,对于处于系统设计、项目经理等职位的人员,也具有极好的参考价值,可以看做是作者的另一部心血力作。

     

    ITPUB创始人tigefish

    2011年   

     

     

    前 言

    一年前的这个时候,我也是在写一本书,书名叫《让Oracle跑得更快—Oracle10g性能分析与优化思路》。

    那是一本讲Oracle性能优化的书,书是在2010年8月初上市的,销量出乎意料的好,曾经一度在中国互动出版网(china-pub.com)上排在计算机类书的销售第一位,随后在当当网的数据库类书中也长时间占据着销售排名的首位。

    现在的这本书可以看作是《让Oracle跑得更快—Oracle10g性能分析与优化思路》的姊妹篇,它继承了上一本书的核心内容,就是写数据库的性能;同时,也保持了上一本书的写作风格,就是用一种思考和启发的方式来写作。

    《让Oracle跑得更快—Oracle 10g性能分析与优化思路》主要是以知识点作为切入点来讨论Oracle数据库的性能分析和优化,比如并行技术、执行计划、优化器、AWR报告等;而本书就显得更加具体和有针对性,它主要是讨论在海量数据的情况下,数据库的设计和优化相关的话题。

    这样,本书和《让Oracle跑得更快—Oracle10g性能分析与优化思路》的内容叠加起来,就基本上形成了一套比较完整的关于数据库性能优化方面的书籍。

    为什么一定要写关于数据库性能方面的书籍呢?

    我一直都持有这样一种观点:现在很多的系统中,数据库的功能正在从数据存储工具的角色慢慢转变成数据处理器的角色。

    近年来,用户对系统的性能要求变得越来越高,这和用户对系统的依赖性变得越来越强直接相关;而这种性能实际上很多时候就是指数据库的性能,因为数据库是数据的最终载体和数据分析、处理的机器(大多数时候)。

    于是,数据库的性能问题就日益凸显出来,无论是项目负责人、开发人员还是DBA,都不可回避地要面对这个问题,唯一的区别是各自考虑的层面不同而已。

    记得上一本书上市不久,ITPUB的创始人Tigerfish先生就鼓励我再写一本关于数据库设计方面的书,他的原话是这样的:

    当DBA从烦琐的日常工作脱身出来举目远望的时候,再往前的一片田野便是架构问题,最好的、最彻底的能一劳永逸的优化,往往从架构设计开始。期待怀远君将来的新作,可以在这片更广阔的天地里驰骋。

    在之后的沟通中,他又提及了几次,这种友好的鼓励变成了我开始考虑写这本书的原动力。

    Tigerfish先生说得没错,真正的一劳永逸地解决问题的方法,就是在架构设计上。

    一个好的架构,会使一个系统充满了可用性和扩展性;反之,就会后患无穷,开发人员要付出大量的后续工作,来修补这种架构缺陷导致的后遗症。

    坦白地说,关于数据库的架构问题,特别是在海量数据情况下的数据库架构设计,我认为是一件不太容易的事情。

    一方面,它和业务息息相关,需要考虑很多业务需求。

    另一方面,数据系统架构设计,就其本身而言,在很多地方又有很大的独立性,比如:

    ●    分布式数据库架构

    ●    RAC架构

    ●    DataGuard架构

    ●    存储架构

     

    最初想写很多内容,除了上面提及的数据库本身的架构设计外,还考虑对几种典型的系统,比如OLTP、OLAP的数据库架构问题进行讨论,甚至包括中间件架构、网络架构等。这看起来真是一个十分庞大的工程!

    最终我放弃了这么庞大的内容,决定专心来写关于海量数据的数据库架构设计,这主要考虑到以下几个原因:

    (1)我本人从事海量数据的数据库DBA工作超过10年,对这一块比较熟悉。

    (2)数据库设计对于海量数据的数据库来说更有意义,更为重要。

    当数据量大到一定程度时,很多看似不是问题的问题都变成了问题。

    这样的数据库要解决数据的装载、数据的存储、数据的处理、数据的备份和恢复,这在海量数据的情况下,并非一件容易的事情(实际上,是一件很麻烦的事情)。

    (3)数据库的数据越来越多,数据越来越受到重视。

    随着信息化的进程越来越快,以前不是海量数据的数据库,现在也变成了海量数据的数据库;以前没有太关注的数据,现在也被严重关注。

    基于以上三点原因,我决定只写海量数据的数据库设计;而对于一些OLTP相关的技术,书中有提到,但没有做过多的介绍,比如并发、绑定变量和OLTP相关的初始化参数都简单带过,这样让本书的内容看起来更有针对性一些。

    实际上,如果要比较OLTP和OLAP数据库设计在系统设计中的重要程度,我认为对后者的关注更应该多一些,主要原因是:

    (1)在OLTP数据库层面,相对简单,因为它的数据量显得不是那么“大”,很多常规的方法都可以使用,并且还有很多现成的技术都可以用。

    (2)对于OLTP系统,即使数据量相对较大,但是SQL操作相对简单,通常来说,SQL执行都是一个很快的过程。

    这可以用一个小例子来说明。

    对于OLTP系统的数据库,SQL语句大多是这样的:

    select *

    from

     test where object_id=100

     

    这些SQL语句的特点是,它们的谓词条件主要是这样的:

    where col=…

     

    而这些字段上都创建了索引,同时索引键值的重复率非常低(比如银行账户、股票交易代码),甚至很多时候这些字段都是主键(不允许有键值重复)。

    这样的特性,使得OLTP系统数据库中的SQL执行通常都非常快。比如,下面就是这条SQL语句的执行结果,我们看到执行时间只能用毫秒衡量。

    call    count       cpu    elapsed       disk     query    current     rows

    ------- ------  -------  ---------   -------- ---------   --------  -------

    Parse       1      0.00       0.00          0          0          0        0

    Execute     1      0.00       0.00          0          0          0        0

    Fetch       2      0.00       0.00          0          9          0        4

    ------- ------  -------  ---------   -------- ---------   --------  -------

    total       4      0.00       0.00          0          9          0        4

     

    Misses in library cache during parse: 0

    Optimizer mode: ALL_ROWS

    Parsing user id: 55 

     

    Rows     RowSource Operation

    ------- ---------------------------------------------------

          4  TABLE ACCESS BY INDEX ROWID TEST (cr=9 pr=0pw=0 time=143 us)

          4   INDEX RANGE SCAN TEST_IDX (cr=4 pr=0 pw=0time=289 us)(object id 51366)

     

    ******************************************************************************

     

    而在OLAP系统数据库中,通常运行着一些类似于下面的这种SQL语句,它们的主要作用是进行数据分析和聚合处理。

    select object_type,count(*)

    from

     test group by object_type

     

    OLAP系统数据库的数据量非常大,它们消耗的系统资源要远远大于OLTP系统中SQL消耗的系统资源。下面是上面SQL语句的执行情况。注意:这只是演示的例子,实际上,这些SQL语句的执行时间要远远长于这个时间。

    call     count       cpu   elapsed       disk      query   current        rows

    ------- ------  -------- -------------------- ---------- ---------- ----------

    Parse        1      0.00      0.00          0          0          0           0

    Execute      1      0.00      0.00          0          0          0           0

    Fetch        4      0.21      0.22          0       3550          1          39

    ------- ------  -------- -------------------- ---------- ---------- ----------

    total        6      2.21      2.32          0       3550         1          39

     

    Misses in library cache during parse: 0

    Optimizer mode: ALL_ROWS

    Parsing user id: 55 

     

    Rows     Row Source Operation

    ------- ---------------------------------------------------

         39  HASH GROUP BY (cr=3550 pr=0 pw=0 time=220962us)

     198980   TABLE ACCESS FULL TEST (cr=3550 pr=0 pw=0time=597066 us)

     

    ********************************************************************************

     

    (3)对于数据备份,OLTP系统数据库可以使用Rman增量的方式备份,也可以使用Data Guard来解决数据安全问题。

    (4)对于OLTP系统的高并发,可以考虑使用中间件层间来解决。

    (5)要提高OLTP数据库的处理效率,可以使用处理能力高的服务器。

    (6)要提高OLTP数据库的数据访问速度,可以考虑使用内存数据库。

    ……

    总之,对于OLTP系统,在数据库层面找到一个合适的解决方案,还不是一件非常困难和费神的事情。

    反过来看OLAP系统数据库(或者数据仓库系统数据库),由于数据量太大,很多问题都变得很难,比如,对于一个1000TB数据的数据库,可能下面的问题都会使你非常头痛:

    ●    如何规划数据存储?

    ●    如何管理这些数据,包括备份和恢复数据?

    ●    如何优化查询?

    ●    如何实现容灾,保证业务不中断?

     

    可以说,上面的每一条都非常困难,都需要全局地考虑用户需求、业务流程等一系列因素,通过各方权衡找到一个最终的解决方案。

    上面谈的内容,就是我想写这本书的目的。和我的上一本书一样,实际上是在讨论对问题的一些思路,它可能没有提供一个完整、具体的解决方案,但是可以帮助启发读者的思维,提供一些参考和帮助。

    我也看了《让Oracle跑得更快—Oracle10g性能分析与优化思路》的一些书评,发现一些读者反映书中的内容写得不够深入,在这里我顺便做一些解释:

    我一直认为,对于一个技术,最重要的不是这个技术本身的机制,而是什么时候使用这个技术。

    这看起来就像一种本末的关系,比如,可以使用很多示例来说明强制变量绑定和变量窥视(bindpeeking)机制,一直到我们明白这个过程的每个环节中Oracle做了什么。

    但是当我们抬起头来接受别人的质询:

    “我们这个系统需要强制变量绑定吗?”

    时,我们真的能立刻做出回答吗?

    我们知道系统的并发情况吗?

    我们知道每天用户的主要工作是什么吗?

    我们知道系统是属于OLAP还是OLTP,抑或是二者的一个混合体?

    对技术精益求精是技术人员的一种学习方式,但绝不等同于不加选择盲目地沉迷技术,技术终归是为系统服务的,让系统保持健康和高效才是做技术的最终目的。

    “授人以鱼,不如授人以渔。”

    本书虽然谈不上是“渔”,但是这是作者的写作思路,我希望通过本书,把自己10多年来的OracleDBA经验和大家分享,如果能够使读者有所收益,那将是我最高兴的事情!

    展开全文
  • 压缩,让网络更快

    千次阅读 热门讨论 2010-02-21 15:57:00
    原文 Use compression to make the web faster 压缩,让网络更快作者: By Arvind Jain, Engineering Director and Jason Glasgow, Staff Software Engineer简介互联网上,每天有超过99人年浪费在下载...

    原文 Use compression to make the web faster

     

    压缩,让网络更快

    作者: By Arvind Jain, Engineering Director and Jason Glasgow, Staff Software Engineer

    简介

    互联网上,每天有超过99人年浪费在下载未经压缩的内容上面。虽然支持压缩已经是每个现代的浏览器的标准功能了,但是它们的使用者们往往还是由于这样那样的原因不能下载到压缩的数据。这样就造成了带宽浪费并且拖慢了用户和网页的交互。

    数据不压缩对所有的使用者都是一种伤害。对于窄带用户,下载那些多余的数据花费了更多的时间。而对于宽带用户,虽然数据传输非常快,但是在进入所能达到的最高速的数据传输之前,不压缩的数据也需要更多的网络间往返(IP包)(emu注:这里指的大概是宽带用户在访问多媒体网站时,在高速下载多媒体内容之前,需要先下载网页、css和脚本的资源),这种情况下,网络间的往返次数(IP包个数)在装载一个完整的网页所需要的时间中是一个比网速更大的影响因素。即使网络状况非常好的用户哪里,这些多余的网络间往返也经常会多耗费数十甚至上百毫秒的时间。

    Steve Souders 的《Even Faster Web Sites》里面,Tony Gentilcore用数据展现出了禁止压缩时页面装载时间的增加的情况。在得到了许可后,我们也重现了其总三个Alexa 排名最高等级的网站的测速结果:

     

    网站

    Alexa 排名

    下载时间增长量(首次打开时)

    页面加载时间增长
    (1000/384 Kbps DSL)(宽带)

    页面加载时间增长
    (56 Kbps modem)(窄带)

    www.google.com

    1

    10.3KB (44%)

    0.12(12%)

    1.3 (25%)

    www.facebook.com

    2

    348 KB (175%)

    9.4 (414%)

    63(524%)

    www.yahoo.com

    3

    331 KB (126%)

    1.2 (64%)

    9.4 (137%)

    数据来自Steve Souders的《 Even Faster Web Sites》中的9章:超越Gzip压缩,经过作者许可。

     

    Googleweb搜索日志也显示,下载未经压缩数据的用户比下载压缩数据的用户评价多花费25%的页面装载时间。在一个随机试验中,我们强行给一些(声称)不接受压缩数据的用户推送了压缩数据,结果我们测量到它们的页面延迟有300毫秒的提升。不过这个试验不能完全说明问题,因为这些被强行推送压缩数据的用户中有一些可能是误伤的,因为它们可能真的是在比较老式的计算机上使用比较老的(不支持压缩的)软件(后面会讲到,更多的可能并非如此)。

    它们为啥不支持压缩?

    我们发现有4种常见的原因导致用户接受不到压缩内容:杀毒软件,浏览器缺陷,网络代理和服务器配置错误。前面3种影响了网络请求导致了网络服务器不知道浏览器其实能解压内容,尤其是它们错误的吧浏览器本来应该在每个请求中发送给服务器的Accept-Encoding 这个http头给去掉或者破坏了。

    杀毒软件可能是为了减少cpu占用,对网络请求进行了拦截和篡改,这样服务器就会发送不压缩的数据给客户端(这样它们就不用先解压后查毒而可以直接查毒了)。但是,如果CPU是系统的性能瓶颈,那么杀毒软件这样做根本不是在帮忙而是在添乱。一些著名的杀毒软跟网络压缩有冲突。网友们自行可以到Browserscope.org上的浏览器压缩支持测试页面上验证一下自己的杀毒软件是否和网络压缩有冲突。

    默认情况下IE6浏览器在通过代理服务器访问网络的时候会降级通讯协议为HTTP/1.0,其结果就是不会发送一个Accept-Encoding的请求头部。下面的表格是从Google的网络搜索日志中生成出来的,显示出来自IE6的搜索在所有未声明接受压缩结果的搜索中占了36%。这个比例比IE6的实际使用比例要高。

     

     

    浏览器

    搜索结果中要求不压缩的比例

    在所有未声明支持压缩的搜索中所占的比例

    Google Chrome

    1

    1

    Safari

    1

    1

    Firefox 3.5

    3

    4

    Internet Explorer 8

    6

    5

    Firefox 3.0

    6

    7

    Other

    46

    22

    Internet Explorer 7

    7

    24

    Internet Explorer 6

    20

    36

    数据来自Google网络搜索日志

    还有那么一小撮ISP,它们的未压缩内容(未声明接受压缩的请求)的比例超过了95%。一个看起来有道理的假设是,这些ISP或者公司代理去掉或者篡改了Accept-Encoding这个HTTP头部。和杀毒软件的情况一样,怀疑自己的ISP和网络压缩有冲突的网友们自行可以到Browserscope.org上的浏览器压缩支持测试页面上验证一下。

    最后还有一种情况,用户下载到了未经压缩的内容是因为访问的网站根本就不压缩内容。下面的表格显示了几个不压缩内容的流行站点。这些网站要是压缩它们的内容,它们平均可以给每个访客减少数百毫秒的页面加载时间,对于那些窄带用户影响更为明显。


    网站资源类型可压缩的字节数
    www.cnn.comCSS and JavaScript330 kB
    www.twitter.comCSS and JavaScript40 kB
    www.bbc.co.ukCSS and JavaScript201 kB

     

    数据使用Page Speed生成

    该怎么做?

    为了减少未压缩的数据,我们需要一起努力

    · 公司里的IT部门和独立的个人用户可以升级浏览器,尤其是用IE6通过代理服务器上网的用户。使用最新版本的 FirefoxInternet ExplorerOperaSafari, 或者 Google Chrome 可以增加下载到压缩后数据的机会。一份最近的IEEE分析期刊社论中列出了更多的——除了压缩之外——的升级掉IE6浏览器的理由。

    · 杀毒软件供应商可以开始正确的解决压缩问题,在后续的发行版中停止篡改和删除Accept-Encoding这个HTTP头部。

    · 那些使用http代理并且把Accept-Encoding这个HTTP头部篡改或者剥离掉的ISP们,可以升级、重新配置或者安装一个好一点的不会禁止用户使用压缩功能的代理服务器。

    · 网络管理员们可以用Page Speed(或者其他类似的工具)来检测自己的网页内容是否是经过压缩的。

     

    展开全文
  • 这使得更快地读取数据成为可能,从而允许例如相当有效地解析整个国家的街道网络(但是,请参阅参考资料)。 该库是在考虑性能的情况下开发的,因此,它主要是用 Cython(具有类似 C 性能的 Python)编写的,这使得它...
  • 同事做了测试,循环插入几万条数据,本地普通PC比服务器要很多。真是没有道理!服务器的各种性能都要远远优于普通PC,怎么可能比PC慢!明显有悖常理!但事实正是如此。难道是网络传输的问题?将测试程序放到服务器...

    同事做了测试,循环插入几万条数据,本地普通PC比服务器要快很多。

    真是没有道理!服务器的各种性能都要远远优于普通PC,怎么可能比PC慢!明显有悖常理!

    但事实正是如此。

    难道是网络传输的问题?将测试程序放到服务器本地执行,与通过局域网运行相差无几。

    现在,我估计是这个原因:

    普通PC的磁盘开启了“写入缓存”,即有磁盘更新的时候,先写入缓存,然后再慢慢写入到硬盘。但是,这有风险,突然断电或故障的时候,这部分数据就丢失了。


    而服务器的磁盘控制,为了安全性,是没有这项选项的。


    对于服务器来讲,如果又要缓存,又要安全,那么应该加上一个磁盘阵列卡。


    展开全文
  • Cloudflare 运行全球规模最大、速度最网络之一。APNIC 是一个非营利组织,管理着亚太和大洋洲地区的 IP 地址分配。 Cloudflare 有网络,APNIC 有 IP 地址(1.1.1.1)。所以,Cloudflare 和 APNIC联合起来...

    NEWS

    近日,Cloudflare 和 APNIC联合推出了1.1.1.1DNS网络加速。

    Cloudflare 运行全球规模最大、速度最快的网络之一。APNIC 是一个非营利组织,管理着亚太和大洋洲地区的 IP 地址分配。

    Cloudflare 有网络,APNIC 有 IP 地址(1.1.1.1)。所以,Cloudflare 和 APNIC联合起来,旨在打造一个更快的网络环境。

    我们知道,几乎互联网上的一切活动均由一个DNS请求开始,DNS可以说是网络的目录。点击链接、打开应用、发送电子邮件时,设备所要做的第一件事就是询问目录:我要在哪里找到这些内容?

    所以,这个在目录上寻找的速度,也一定程度上影响着我们上网的速度。

    而根据1.1.1.1的官网数据,其宣称自己的DNS比其他的网络要快28%,是不是真的快28%不清楚,反正,据我切身使用后,感觉网络速度确实有所提升,如果大家网络速度没有明显变化,勿喷,可能与网络环境还是有关系的。

    以下是官网上,利用1.1.1.1进行dns加速的教程:

    Windos10:

    1. 点击开始菜单,然后点击控制面板
    2. 点击网络和互联网
    3. 点击更改适配器设置
    4. 右键点击您连接的Wi-Fi网络,然后点击属性
    5. 选择Internet协议版本4(如果需要,请选择版本6)。
    6. 点击属性
    7. 记下任何现有的DNS服务器条目以供将来参考。
    8. 单击使用下面的DNS服务器地址
    9. 将这些地址替换为1.1.1.1 DNS地址:
      • 对于IPv4:1.1.1.11.0.0.1
      • 对于IPv6:2606:4700:4700 :: 11112606:4700:4700 :: 1001
    10. 点击确定,然后关闭
    11. 重新启动您的浏览器。

    安卓(利用路由器):

    1. 连接到您的首选无线网络。
    2. 在浏览器中输入路由器的网关IP地址。
    3. 如果出现提示,输入您的用户名和密码。这些信息可能会标注在路由器上。
    4. 在路由器配置页面,找到DNS服务器设置。
    5. 记下现有的DNS服务器条目,以备日后参考。
    6. 将这些地址替换为1.1.1.1 DNS地址:
      • 如果是IPv4,输入:1.1.1.1和/或1.0.0.1
      • 如果是IPv6,输入:2606:4700:4700 :: 11112606:4700:4700 :: 1001
    7. 保存设置,然后重新启动浏览器。

    如果想要更具体的了解该技术,可以在浏览器地址栏输入1.1.1.1,浏览具体信息。

    参考资料:https://1.1.1.1/

     

    展开全文
  • 基于改进的更快的卷积神经网络特征区域的淡水鱼鱼鳃切口点定位.pdf
  • 并行传输数据和串行传输数据SATA hard drive connections are faster than older PATA hard drive connections and the same can be said for external cabling standards, but this is counter-intuitive: why ...
  • 如何你的Python爬虫采集得更快

    千次阅读 2017-07-12 18:19:06
     鲲鹏数据的技术人员长期从事Python爬虫的开发工作,如何Python爬虫采集的更快,如何处理海量数据的下载是我们一直探索和研究的对象。下面是我们从数学角度给出的一些分析以及我们的一些经验分享。
  • 如何快速爬取网页数据(干货)

    万次阅读 多人点赞 2019-09-11 17:25:48
    但是对于大多数没有任何编程知识的人来说,最好使用一些网络爬虫软件从指定网页获取特定内容。 网页数据爬取是指从网站上提取特定内容,而不需要请求网站的API接口获取内容。“网页数据” 作为网站用户体验的一...
  • 软件定义网络数据平面与控制平面解耦,旨在更快地引入网络创新,并从根本上实现大型网络的自动化管理。架构创新带来了挑战与机遇,安全问题限制了软件定义网络的广泛采用。针对数据平面的攻击可能会损毁整个软件...
  • 数据怎样存储才安全?

    千次阅读 2019-01-28 10:02:15
    在大数据时代下,工作生活中存储文件、数据十分广泛,U盘、移动硬盘已不在是我们的主要存储方式,取而代之的是云储存,大大提高了存储空间,应用方式也相当广泛,哪怕是使用App发送一条语音、文字、视频、图片也会...
  • 如何快速成为数据分析师

    万次阅读 多人点赞 2017-09-19 18:22:00
    就是数据分析的这个流程。按这样的顺序循序渐进,你会知道每个部分需要完成的目标是什么,需要学习哪些知识点,哪些知识是暂时不必要的。然后每学习一个部分,你就能够有一些实际的成果输出,有正向的反馈和成就感,...
  • 使用YOLO网络(Darknet)和更快的R-CNN网络(PyTorch)在Google Colab中进行面罩检测。 检测到3类:正确佩戴的口罩,错误佩戴的口罩和未佩戴的口罩。 设置和执行YOLO: 在您的Google云端硬盘中创建名为yolov3的...
  • 大数据技术为什么? 传统数据与大数据处理方式对比 纵向扩展: 表示在需要处理多负载时通过提高单个系统处理能力的方法来解决问题。最简单的情况就是为应用系统提供更为强大的硬件。例如如果数据库所在的...
  • 网络社区数据的可信存储验证技术,李卓然,吴旭,随着信息技术的发展,网络社区数据的可信性也受到了严峻的考验。为使网络社区数据在各个系统之间更快、更安全地得以使用、交换和
  • 你一定听说过Tor洋葱路由技术,它提供了强大的匿名网络访问功能,以此成为互联网用户、政治活动家、以及记者躲避有关部门限制监控的方法。...大黄蜂基于匿名的高速洋葱路由网络体系结构,但传输速度要比Tor的多。此
  • Excel教程:如何快速整理数据

    千次阅读 2019-07-02 14:53:59
    不知道大家平时整理数据是使用什么的方法,我经常需要整理一些网络数据网络数据整理一直是个难题,导出的网络数据要不是单列的,要不就是有一些特殊符号,都需要整理后才能使用,这不,领导小红把后套导出的...
  • Messagepack原理(更快更小的Json)

    千次阅读 2018-01-21 11:29:54
    但是,它更快并且更小。小整数被编码为一个字节,和典型的短字符串只需要除了字符串本身的一个额外字节。  笔者认为用一句可总结:结构和JSON一样,比JSON更小更快!  相信对于初学者来说:如何快速将...
  • 亚马逊云科技云数据仓库Redshift,您的数据飞起来 随着信息技术的迅速发展,各行各业积累的数据都呈现出爆炸增长的趋势,我们已经进入了大数据的时代。当前企业数据的规模和复杂度不断增长,如何快速低成本的分析...
  • 云计算时代互联网数据中心网络面临的挑战 更大 更快 更简单 10倍 252倍 10万 40倍 SnapChat日视频分享点击 网约车按需服务次数 Apple Store 百度8年 传统静态 1年+增长10倍 3年增加252倍 每年新增APP 服务器增加 ...
  • 通过独有的网络寻址协议、数据分发协议、智能硬件设备,从网络寻址、负载均衡、数据分发等各个环节,实时地将用户请求重新导向最优的节点,使数据传输的更快、体验更好。采取模块化的开发设计,可视化的操作定制,...
  • Facebook数据中心网络架构概览

    千次阅读 2017-02-09 00:02:44
    为了能够给用户提供实时的体验,Facebook为数据中心设计了一个高可扩展,高性能的网络架构,称之为:data center fabric。 虽然这个网络架构实际上在14年已经实施了,但是其中的一些设计理念在今天的一些数据中心里...
  • 在移动时代,当我们用手机通话、发短信或者上网时,都会留下信号数据,即“手机信令数据”。这些数据覆盖范围广、连续性高、用户基数大,是做城市管理的极佳数据来源。 以下结合智慧柳州时空信息云平台项目的初步...
  • 最近有很多人在问,我是如何收集网络数据,如何进行数据处理、数据分析以及可视化呈现的。也有人问的具体,关于Python数据分析的一些问题。到底应该怎么学?如何快速入门,...
  • 4G网络数据传输流程 一

    万次阅读 多人点赞 2019-05-30 16:22:28
    原文:微信公众号 Wisdom365 生命不息,提速不止。4G时代,百兆、双百兆、300兆速率的广告比比皆是,现在1Gbps也要来了...2009年1月,瑞典运营商TeliaSonera宣布商用4G LTE网络,建成全球首个4G商用网络; 2013年...
  • 本文介绍了 EfficientNetV2,这是一个新的卷积网络家族,与之前的模型相比,它具有更快的训练速度和更好的参数效率。 为了开发这一系列模型,我们结合使用训练感知神经架构搜索和缩放,共同优化训练速度和参数效率。...
  • 所做的一切都是为了用户更快更方便查询所需要的信息,提供决策支持。 网络游戏运营过程中数据仓库解决的问题 数据仓库技术可以解决事务处理系统处理不了的决策问题。 <br />1解决信息结论含糊不清...
  • 数据库, 数据仓库, 数据集市,数据湖,数据中台

    千次阅读 多人点赞 2019-02-22 16:21:47
    数据仓库和数据集市的区别 作者:修鹏李 出处:CSDN 大数据:数据仓库和数据库的区别 作者:南宫蓉 出处:简书 第一篇:数据仓库概述 第二篇:数据库关系建模 作者:穆晨 出处:CNBLOS 摘要 本文简要介绍...
  • 快数据与大数据的结合(VoltDB + Hadoop)

    千次阅读 2015-09-19 04:02:21
    VoltDB提供了实时摄取数据与分析的能力(Fast Data),Hadoop作为大数据分析的平台(Big Data)。 两个处理系统的结合使用是即使Fast Data与Big Data的结合,也是联机事务处理系统(OLTP)和联机分析处理系统OLAP两...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 930,287
精华内容 372,114
关键字:

怎样让数据网络更快