精华内容
下载资源
问答
  • 时隔一年,中华数据库与运维大会将于2017年06月03日在上海强势回归,届时来自全国各行各业的IT从业人员将欢聚于2017中华数据库与运维大会,探讨与交流数据库和运维的经验。 以下中华数据库与运维大会信息由活动家...
    时隔一年,中华数据库与运维大会将于2017年06月03日在上海强势回归,届时来自全国各行各业的IT从业人员将欢聚于2017中华数据库与运维大会,探讨与交流数据库和运维的经验。
    1487836540.15.jpg!hdj123
    以下中华数据库与运维大会信息由活动家提供,篇幅所限,最新最全中华数据库与运维大会通知请点击下方链接了解:


    【会议概况】
    自2009年以来,超过4000位技术总监、技术负责人、架构师、项目经理、运维总监、运维经理、DBA经理、DBA、运维工程师以及研发工程师等出席过该会议。2017年中华数据库与运维大会涵盖了传统互联网、金融、交通运输、快递物流和制造等行业。自中华数据库与运维大会举办以来深受业界关注和赞誉。本届中华数据库与运维大会邀请了国内富有实战经验的资深专家分享技术与前瞻性的话题。

    【会议嘉宾】
    2fe7dab268d4a07cef9ca433d069fd5a8c0a30ff
    【会议日程】

     

    资料类别

    内容1

    内容2

    内容3

    内容4

    嘉宾信息

    嘉宾姓名 

    黄哲铿

    郑寒

    王义林

    马进

    嘉宾职务全称 

    中通快递 IT部总监

    腾讯 高级工程师

    京东金融基础技术研发部 技术专家

    数据库中间件负责人

    嘉宾简介

    《技术管理之巅》作者。 曾担任海尔集团农业电商CTO、1号店技术总监。
     擅长大型电商系统架构、大型技术团队管理等,个人拥有多项技术发明和专利。

    5年的linux内核开发经验,熟悉linux内核的各个子系统,从13年开始参与TDSQL核心模块的设计开发。
    目前主要负责中间件proxy的开发,在分布式处理方面有丰富经验。

    京东金融数据库中间件研发负责人,带领团队推出数据分片中间件、数据管道平台、数据迁移平台和数据集中平台。
    当前正在研发京东金融分布式数据库。

    马进,负责网易数据库中间件团队,主导数据库中间件的各类项目研发,入职以来先后参与了分布式数据库DDB,缓存NKV,分布式事务协调器TCC,数据运河NDC等项目。
    专注于分布式系统架构与数据库技术,热衷于构建高效的,高性能的分布式后台系统。

    主题资料

    所属专题

    数据库专场

    数据库专场

    数据库专场

    数据库专场

    演讲主题

    《高可伸缩的电商系统架构实践》

    TDSQL Proxy的设计和实现

    京东金融数据管道平台架构与应用

     网易分布式数据库DDB(题目分享过,内容会有更新)

    演讲主题简介

    通过介绍大型电商系统架构、微服务架构、混合云架构技术等,使听众快速掌握大型电商系统、微服务、大数据等架构技术。结合电商系统如何应对大促等案例,给听众带来一流电商系统架构的实践干货分享。

    TDSQL通过proxy中间件的方式实现分布式数据库,解决单机数据库在容量和性能上的限制。这里主要分享TDSQL在解决分布式数据库面临的问题时的一些思路。如通过按组分表以及小表满足业务对于join的需求,如何实现全局唯一序列,如何提供和mysql完全兼容的连接协议,权限控制,sql解析以及字符集支持能力。同时分享动态升级,读写分离,流控方面的内容。

    数据管道服务基于MySql的Binlog日志、Oracle的Redo日志解析, 实时向消费端发布结构化的业务变更前后的数据,消费端作为业务处理的延续,可以进行各种业务逻辑处理。
    主要适用以下几种场景:
    1、数据库之间的增量数据同步;
    2、机房异地多活场景作为数据复制中心;
    3、拥有数据变更前后的信息,因此很容易实现事务补偿逻辑,基于BASE模型的CDS分布式事务服务,就是基于这个原理实现的;
    4、业务系统Dashboard对任意数据变更的监控、显示。完全与业务核心代码解耦。

    DDB是网易自研的分库分表数据库,从06年开始为网易众多互联网产品提供透明的分库分表服务,是杭研后台产品中唯一一个经历了10年风雨而没有经历过大规模重构的系统。
    这次大会除了为大家介绍DDB本身外,着重分享DDB这十年来架构,功能以及设计哲学上的变迁,以及未来的发展规划。

    听众受益

    帮助听众快速掌握大型电商系统架构、微服务架构、混合云架构等。结合电商系统如何应对大促、如何实现高效订单分拣等案例,给听众带来一流电商系统实践干货分享。

    在分布式数据库中如何实现数据均匀分布,同时又满足业务对于join的需求;
    如何实现和mysql完全兼容的连接协议,权限控制,sql解析以及字符集支持能力;
    如何实现灵活的读写分离,动态升级,流控控制。

    开阔数据处理视野。

    1、了解分库分表应用场景
    2、把握一个分库分表中间件具备的几大要素
    3、通过DDB的架构变迁,学习一个成熟分布式系统的架构哲学

    ……

    由于中华数据库与运维大会日程信息较为丰富,更多大会详情,请移步活动家了解。

    详情:https://www.huodongjia.com/event-1685066679.html



    展开全文
  • 2014中华数据库与运维安全大会介绍 【导读】 自2009年于上海举办技术会议以来,一直坚持公益性且技术干货为主的特点,在2009年至2011年底之间的三年期间 一直是IT168坚持真诚奉献,后因公司被收购等因素不得不放弃...

    2014中华数据库与运维安全大会介绍

    【导读】

    自2009年于上海举办技术会议以来,一直坚持公益性且技术干货为主的特点,在2009年至2011年底之间的三年期间 一直是IT168坚持真诚奉献,后因公司被收购等因素不得不放弃华东地区的免费技术活动,自接手技术会议以来,得到很多朋友和企业的支持,使我们华东地区 的技术会议得以继续举办,并且一届比一届更好。随着会议规模的扩大,其他地区的(尤其是华南地区和华北地区)会议参与者逐年增加,在2013年11月16 日,正式更名会议为中华架构师大会,以及中华数据库与运维安全大会。2014年5月24日,我们将在上海举办2014中华数据库与运维安全大会,精彩内容 请勿错过。

    会议介绍

    2014年05月24日(星期六)07:45至19:00,我们将在上海市虹口区纪念路301号宝丰联大酒店举办一年一度的中华数据库与运维安全大会。届时来自百度、腾讯、阿里巴巴、网易、大众点评、人人网、圆通速递、CNTV、淘宝、支付宝、热璞科技等技术精英们,将以他们的成功实践经验,为我们带来关于数据库、运维自动化、运维安全、互联网金融、架构设计等等的技术分享盛宴。本届会议官方报名网站:http://meeting.zhdba.com/2014dtcc

    会议信息

    会议时间:2014年05月24日 (1天,上午1个主会场,下午2个分会场,共计14个精彩主题)

    会议地点:上海市虹口区纪念路301号宝丰联大酒店水晶厅,牡丹厅

    报名人数:预计2000人

    预计出席人数:1200人(注:依据往届会议的出席比例经验)

    会议座席:主会场1200个,分会场650个(预留了80个VIP席位,给赞助企业、演讲嘉宾、捐助者 、捐助企业)

    报名截止日期:2014年03月15日,关闭免费报名渠道,逾期报名收费

    嘉宾信息

     cb

     

    主持人:余锋

    嘉宾简介:

    阿里巴巴集团核心系统部数据库组资深专家,先后在网易,迅雷,网龙等国内知名的IT企业从事研究和开发工作。有超过15 年的网络、内核以及底层软件开发经验,专注于高性能分布式服务器的研究和实现,擅长构建大规模集群服务器,对NoSQL系统和分布式文件存储有深入的研究 和实践,同时致力于Erlang分布式系统的研究和推广。目前负责阿里RDS云和相关的数据库分支。

     hb

    主持人:洪倍

    嘉宾简介:

    洪倍,AdMaster联合创始人兼CTO

    2003年毕业于上海交大计算机系,2006年和闫曌一起创立AdMaster精硕科技,担任CTO。 八年来带领 AdMaster 架构了涵盖互联网广告、移动广告、社交舆情、在线调研、电商渠道管理等数字营销核心领域的大数据平台; 在分布式计算、数据挖掘和系统架构领域有丰富的实战经验。

     ly

    演讲嘉宾:刘宇

    嘉宾简介:刘宇就职于百度, 担任运维专家。是《Puppet实战》一书的作者,linuxtone.org 创造人之一。

    演讲主题:Puppet给运维带来的变革

    内容摘要:

    1 纵谈运维
    1.1 传统的运维
    1.2 现在的运维及未来趋势
    1.3 运维系统化(将监控、部署、发布、都融合至平台)
    1.4 运维的机遇及挑战(云计算的挑战,需要支持快速部署等)
    1.5 工具在这股浪潮中带来的变化(各种开源工具,可以列出一些表格)
    1.6 基础设施在运维中的重要性(变更与底层一致性)

    2 Puppet应用
    2.1 什么是Puppet? (Puppet有那些特性,DSL比较自由)
    2.2 Puppet能做什么?(管理软件包、文件、服务、脚本等)
    2.3 例子:管理一个文件
    2.4 依赖关系
    2.5 什么是Facter
    2.6 什么是Class,及继承
    2.7 什么是Node
    2.8 模板及结果输出
    2.9 Puppet成套的产品(语法检查,文档输出,依赖关系图,DB写入,报告展示)

     slb

    演讲嘉宾:宋利兵

    嘉宾简介:就职于ORACLE。2009年加入MySQL Replication研发团队,4年多来一直在从事MySQL Replication的研发工作。目前主要负责MySQL Replication新功能和性能提升方面的工作.

    演讲主题:深入理解MySQL Replication

    内容摘要:MySQL Replication的结构、模块和原理的介绍,以及MySQL 5.7 Replication新功能的介绍。

     hdc

    演讲嘉宾:何登成

    嘉宾简介: 何登成,网易杭州研究院技术专家,技术爱好者,在数据库、并发编程、性能优化等领域,有一定的经验积累。平时通过个人微博,帐号:何_登成,或者个人网站http://hedengcheng.com,进行技术分享与交流。

    演讲主题:深入MySQL源码 — Step By Step

    内容摘要:MySQL,作为一个开源的数据库产品,在国内获得越来越多的重视,也有越来越多技术人员接触、使用 MySQL。甚至有些公司或者个人,提出了更高的要求:研究MySQL的源码,做定制化的功能。本次演讲,从作者自身的经验出发,分享一些作者在研究、学 习MySQL源码过程中所使用的方法,希望对有志于投身到MySQL源码学习的朋友,有所帮助。

     lfx

    演讲嘉宾:楼方鑫

    嘉宾简介: 楼方鑫,OracleACE,Oracle恢复软件AUL和Oracle文本导出软件sqluldr2的作者,曾在eBay运维团队工作,现就职于支付 宝。多年高并发高压力数据库管理经验,善长数据库性能及系统调优,数据库监控,故障处理,容量分析与规划。开发有多款流行的DBA工具,原创的 Oracle数据库恢复软件AUL,为全球20个以上不同国家的客户提供过数据恢复服务。多年管理高并发(5000以上数据库会话)的大型(2TB以上) 数据库的经验,着重于自动化工具开发,性能调优,系统监控及数据库容量规划等工作。2013年中,在深厚的Oracle基础之上开始研读MySQL源代 码,在MySQL性能改善及数据保护方面,取得十分有效的进展!

    演讲主题:MySQL的性能改进之路

    内容摘要:MySQL也可以取得很高的性能,了解MySQL性能问题的关键之处,就可以合理地避免MySQL全局锁带来 的SYS CPU争用,从而发挥最佳的性能,达到和Oracle差不多的性能。通过自己研究的类Thread Pool机制和其他方面的优化,大幅度地降低了SYS CPU的利用率,让机器的CPU全部用于业务请求,而不是花在内部并发及资源锁的竞争之中,主要介绍我个人对MySQL性能优化方面的考虑和改进思想。

    gl

    演讲嘉宾:古雷

    嘉宾简介: 古雷,2007年加入搜狐网络运营部DBA团队;2014年初加入搜狐畅游mobogenie项目中心运维团队,依然从事数据库运维工作。

    演讲主题:心的运维– 从大脑说起

    内容摘要: 借助DBA的技术背景,尝试以大家容易理解的方式,介绍一种古老的运维理念。以求触动听众,为大家打开一个新的视角。

     tfm

    演讲嘉宾:田发明

    嘉宾简介: 田发明,就职于CNTV,负责数据库运维相关工作,热衷于大规模数据库运维管理,数据库调优,数据库架构设计。

    演讲主题:SQL审核与开发规范

    内容摘要: 介绍和探讨在运维Oracle和MySQL期间里遇到的SQL相关方面一些案例、技巧总结,及如何逐步形成适合自身公司相应的开发规范和流程。

     cfr

    演讲嘉宾:陈福荣

    演讲嘉宾:陈福荣

    嘉宾简介: 腾讯互动娱乐事业群高级工程师,先后在上海达梦数据库、腾讯从事研究和开发工作,有将近5年的数据库内核研究和开发经验。目前专注于MySQL的定制和优化工作,开发和维护了腾讯内部的MySQL分支,满足公司游戏业务海量数据管理的功能和性能需求。

    演讲主题: MySQL在线加字段实现原理

    内容摘要: MySQL直到5.6才支持Online DDL操作,但是加字段等最常见的DDL操作只做到了不锁表的内部拷贝数据。腾讯内部维护了一个MySQL分支(TMySQL),其中一个核心功能就是实 现了类似Oracle的不需拷贝数据的快速加字段功能。本次演讲的主要内容就是介绍MySQL在线加字段实现原理,涉及Innodb存储格式、数据字典、 redo/undo等方面的基本原理和改造方法。

     wb

    演讲嘉宾:王斌

    嘉宾简介: 王斌,在网易主要从事互联网领域的开源工作,主要维护tcpcopy,gryphon,nginx-hmux-module等开源项目。

    演讲主题:MySQL Database Replay

    内容摘要: 本次演讲,主要讲述如何从底层来复制MySQL请求到测试服务器中去,从而达到MySQL Replay的目的,进而为MySQL的稳定性测试和性能测试提供有力支持。

     ljy

    演讲嘉宾:卢钧轶

    嘉宾简介: 爱捣腾Linux的DBA。现任职于大众点评网DBA团队。四年MySQL DBA经验,一年SA经验。主要关注MySQL、Memcache、MMM等产品的高性能和高可用架构。Weibo:米雪儿侬好的cenalulu

    演讲主题:MySQL高可用架构 — MMM在大众点评应用和改进

    内容摘要:本次演讲,主要讲述以下几个方面

    1. MMM在点评网是如何使用的

    2. 细数MMM上踩过的坑以及如何填坑

    3. MMM和MHA之间的抉择

     lq

    演讲嘉宾:李强

    嘉宾简介: 李强,现为热璞科技运维架构师,主要从事于运维架构、运维体系建设领域的工作,主要关注网络模拟器、Linux系统、高可用方案等。

    演讲主题:运维自动化之运维监控

    内容摘要: 运维监控的价值、运维监控的开源解决方案等。

     lq_2

    演讲嘉宾:李旭

    嘉宾简介: 09年参加工作,曾就职于学大教育,亿美软通等,经历过比较多的数据库产品,包括ORACLE,timesten,MySQL,现就职于网信金融,目前主要专注于MySQL

    演讲主题:PACEMAKER+COROSYNC+DRBD+HARPOXY+KEEPALIVED的高可用环境的原理以及应用

    内容摘要: 金融行业对数据的一致性要求较高,比较当前主流的高可用架构,选择了DRBD,通过使用COROSYNC来提供集群信息以及状态监测,PACEMAKER 负责故障转移以及资源的启动停止和监控,在PRIMARY出现问题的时候,通过PACEMAKER控制VIP迁移来实现高可用,使用HAPROXY实现读 写分离,使用KEEPALIVED来避免HAPROXY服务器的单点故障。

     p2p-k8-hotpu

    演讲嘉宾:K8、刘斐然

    嘉宾简介: K8目前就职于先锋金融集团,曾就职于人人网安全中心,任安全经理一职。专注互联网安全很多年。

    刘斐然目前就职于先锋金融集团,曾就职于人人网安全中心,浪潮科技,擅长安全工具开发和漏洞研究,写的一手好代码。

    演讲主题:P2P行业风险分析与安全防御

    内容摘要: 互联网金融作为近年兴起的一个火爆名词,从年初响彻大江南北的余额宝,到后来的百付宝,再到各种P2P贷款,这些新型的互联网金融产品到底有哪些安全隐患 呢?到底钱放在P2P贷款里面是否安全?作为投资人,该如何选择?作为网站安全工作者,如何来评估它们的安全性,以及如何提高安全性?


    转载于:https://my.oschina.net/mysqlops/blog/203959

    展开全文
  • 中华架构师大会部分演讲主题及嘉宾预告 演讲主题 演讲嘉宾 公司名称 职位/职称 待定 朱超 360 中间件研发负责人 TFS 技术架构及运维 张友东 阿里云 TFS 研发...

    225053_P9ad_561560.jpg

    基本信息

    时间: 2014年05月24日(星期六) 07:40 --- 18:00

    地点: 上海市虹口区纪念路301号宝丰联大酒店水晶厅、牡丹厅

    225521_PTvo_561560.jpg

    报名方式:

    报名网站:http://meeting.zhdba.com/2014dtcc

     

    报名时间

    普通票

    VIP

    贵宾票

    2014-02-14 ~2014-03-15

    免费

    400元,提供:VIP座席,会务中餐

    700元,提供:贵宾座席,会务中餐,会务晚宴

    2014-03-16 ~2014-04-30

    200

    500元,提供:VIP座席,会务中餐

    800元,提供:贵宾座席,会务中餐,会务晚宴

    2014-05-01 ~2014-05-20

    400

    600元,提供:VIP座席,会务中餐

    900元,提供:贵宾座席,会务中餐,会务晚宴

    2014-05-21 ~2014-05-24

    600

    700元,提供:VIP座席,会务中餐

    1000元,提供:贵宾座席,会务中餐,会务晚宴

    会议日程:

    225731_ZU9X_561560.jpg


    225842_PFTK_561560.jpg

    各数据分布统计:

    225953_DYeX_561560.jpg225954_wi49_561560.jpg

    225955_lS0H_561560.jpg225956_KExL_561560.jpg

    部分涉及企业:

    • 阿里巴巴、腾讯、新浪、搜狐网、百度、盛大、畅游、热璞科技、

    • 金山网络、新民网、网易、优酷土豆、乐视网等

    • 圆通速递、德邦物流、百世物流、东方航空

    • 携程、去哪儿、大众点评、丁丁网、驴妈妈、世纪佳缘

    • 京东商城、易迅、eBay、一号店、新蛋等

    • 中国银联、中国银行、兴业银行、交通银行、花旗银行、浦发银行、平安、大智慧、中证指数等

    • IBMORACLEEMCIntelSAP、联想,惠普、富士通南大、思科

    • 海昌眼镜、海尔集团、三星、中国电信、中国联通、华为、中兴通讯、上汽集团等

    2014中华架构师大会部分演讲主题及嘉宾预告

    演讲主题

    演讲嘉宾

    公司名称

    职位/职称

    待定

    朱超

    360

    中间件研发负责人

    TFS技术架构及运维

    张友东

    阿里云

    TFS研发负责人

    待定

    黄俊

    国药集团

    常务副总经理

    golang实时消息推送架构实战

    毛剑

    金山网络

    移动游戏技术经理

    分布式数据库中间件MyCAT之前世今生

    吴治辉

    惠普中国

    系统架构师

    雪球的架构实践

    王栋

    雪球财经

    CTO

    待定

    刘建平

    热璞科技

    技术总监

     

    吃住行:

    230303_4kAI_561560.jpg

    联系我们:                                          

    l  姓    名:朱颖丹

    l  联系电话:136 5197 9898

    l  邮箱地址:vera_zhuyd@163.com

    l  即时通信:378091820 (QQ)

    l  微信帐号:230511_3pgm_561560.jpg

    230553_RigQ_561560.jpg




    转载于:https://my.oschina.net/mysqlops/blog/224386

    展开全文
  • 中华古诗词数据库

    2019-01-02 10:25:30
    最全, 唐宋两中华古诗词数据库朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人,21050首词
  • 中华字典数据库sql

    2019-01-05 11:32:11
    字段是,字,声母,韵母,拼音,读音,部首,简介,详解,组词,造句等,收录了很多繁体字,一般字典没有的数据。
  • 中华数据库

    2015-06-07 22:38:10
    PCIe 解决方案克服 I/O 瓶颈问题,可提供卓越的数据库设备性能 专业设备,通用设备 pcie 闪存 ========================= https://www.elastic.co/webinars/introduction-elk-stack ...

    SLA

    SLA:Service-Level Agreement的缩写,意思是服务等级协议。



    ACA全内容加速


    http://www.zhdba.com/mysqlops/2014/03/07/fastdfs-arc/

    分布式文件系统FastDFS设计原理及技术架构

    FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。

    enter image description here

    Storage server

    Storage server(后简称storage)以组(卷,group或volume)为单位组织,一个group内包含多台storage机器,数据互为备份,存 储空间以group内容量最小的storage为准,所以建议group内的多个storage尽量配置相同,以免造成存储空间的浪费。

    以group为单位组织存储能方便的进行应用隔离、负载均衡、副本数定制(group内storage server数量即为该group的副本数),比如将不同应用数据存到不同的group就能隔离应用数据,同时还可根据应用的访问特性来将应用分配到不同 的group来做负载均衡;缺点是group的容量受单机存储容量的限制,同时当group内有机器坏掉时,数据恢复只能依赖group内地其他机器,使 得恢复时间会很长。

    group内每个storage的存储依赖于本地文件系统,storage可配置多个数据存储目录,比如有10块磁盘,分别挂载在/data/disk1-/data/disk10,则可将这10个目录都配置为storage的数据存储目录。

    storage接受到写文件请求时,会根据配置好的规则(后面会介绍),选择其中一个存储目录来存储文件。为了避免单个目录下的文件数太多,在 storage第一次启动时,会在每个数据存储目录里创建2级子目录,每级256个,总共65536个文件,新写的文件会以hash的方式被路由到其中某 个子目录下,然后将文件数据直接作为一个本地文件存储到该目录中。

    Tracker server

    Tracker是FastDFS的协调者,负责管理所有的storage server和group,每个storage在启动后会连接Tracker,告知自己所属的group等信息,并保持周期性的心跳,tracker根据 storage的心跳信息,建立group==>[storage server list]的映射表。

    Tracker需要管理的元信息很少,会全部存储在内存中;另外tracker上的元信息都是由storage汇报的信息生成的,本身不需要持久化 任何数据,这样使得tracker非常容易扩展,直接增加tracker机器即可扩展为tracker cluster来服务,cluster里每个tracker之间是完全对等的,所有的tracker都接受stroage的心跳信息,生成元数据信息来提 供读写服务。

    Upload file

    FastDFS向使用者提供基本文件访问接口,比如upload、download、append、delete等,以客户端库的方式提供给用户使用。

    enter image description here

    选择tracker server

    当集群中不止一个tracker server时,由于tracker之间是完全对等的关系,客户端在upload文件时可以任意选择一个trakcer。

    选择存储的group

    当tracker接收到upload file的请求时,会为该文件分配一个可以存储该文件的group,支持如下选择group的规则:
    
    1. Round robin,所有的group间轮询
    2. Specified group,指定某一个确定的group
    3. Load balance,剩余存储空间多多group优先

    选择storage server

    当选定group后,tracker会在group内选择一个storage server给客户端,支持如下选择storage的规则:
    
    1. Round robin,在group内的所有storage间轮询
    2. First server ordered by ip,按ip排序
    3. First server ordered by priority,按优先级排序(优先级在storage上配置)

    选择storage path

    当分配好storage server后,客户端将向storage发送写文件请求,storage将会为文件分配一个数据存储目录,支持如下规则:
    
    1. Round robin,多个存储目录间轮询
    2. 剩余存储空间最多的优先

    生成Fileid

    选定存储目录之后,storage会为文件生一个Fileid,由storage server ip、文件创建时间、文件大小、文件crc32和一个随机数拼接而成,然后将这个二进制串进行base64编码,转换为可打印的字符串。

    选择两级目录

    当选定存储目录之后,storage会为文件分配一个fileid,每个存储目录下有两级256*256的子目录,storage会按文件fileid进行两次hash(猜测),路由到其中一个子目录,然后将文件以fileid为文件名存储到该子目录下。

    生成文件名

    当文件存储到某个子目录后,即认为该文件存储成功,接下来会为该文件生成一个文件名,文件名由group、存储目录、两级子目录、fileid、文件后缀名(由客户端指定,主要用于区分文件类型)拼接而成。

    enter image description here

    文件同步

    写文件时,客户端将文件写至group内一个storage server即认为写文件成功,storage server写完文件后,会由后台线程将文件同步至同group内其他的storage server。

    每个storage写文件后,同时会写一份binlog,binlog里不包含文件数据,只包含文件名等元信息,这份binlog用于后台同 步,storage会记录向group内其他storage同步的进度,以便重启后能接上次的进度继续同步;进度以时间戳的方式进行记录,所以最好能保证 集群内所有server的时钟保持同步。

    storage的同步进度会作为元数据的一部分汇报到tracker上,tracke在选择读storage的时候会以同步进度作为参考。

    比如一个group内有A、B、C三个storage server,A向C同步到进度为T1 (T1以前写的文件都已经同步到B上了),B向C同步到时间戳为T2(T2 > T1),tracker接收到这些同步进度信息时,就会进行整理,将最小的那个做为C的同步时间戳,本例中T1即为C的同步时间戳为T1(即所有T1以前 写的数据都已经同步到C上了);同理,根据上述规则,tracker会为A、B生成一个同步时间戳。

    Download file

    客户端upload file成功后,会拿到一个storage生成的文件名,接下来客户端根据这个文件名即可访问到该文件。

    enter image description here

    跟upload file一样,在download file时客户端可以选择任意tracker server。

    tracker发送download请求给某个tracker,必须带上文件名信息,tracke从文件名中解析出文件的group、大小、创建时 间等信息,然后为该请求选择一个storage用来服务读请求。由于group内的文件同步时在后台异步进行的,所以有可能出现在读到时候,文件还没有同 步到某些storage server上,为了尽量避免访问到这样的storage,tracker按照如下规则选择group内可读的storage。

    1. 该文件上传到的源头storage
       - 源头storage只要存活着,肯定包含这个文件,源头的地址被编码在文件名中。
    2. 文件创建时间戳==storage被同步到的时间戳 且(当前时间-文件创建时间戳) > 文件同步最大时间(如5分钟)
       - 文件创建后,认为经过最大同步时间后,肯定已经同步到其他storage了。
    3. 文件创建时间戳 < storage被同步到的时间戳。
       - 同步时间戳之前的文件确定已经同步了 
    4. (当前时间-文件创建时间戳) > 同步延迟阀值(如一天)。
       - 经过同步延迟阈值时间,认为文件肯定已经同步了。

    小文件合并存储

    小文件合并存储主要解决如下几个问题:

    1. 本地文件系统inode数量有限,从而存储的小文件数量也就受到限制。
    2. 多级目录+目录里很多文件,导致访问文件的开销很大(可能导致很多次IO)
    3. 按小文件存储,备份与恢复的效率低

    FastDFS在V3.0版本里引入小文件合并存储的机制,可将多个小文件存储到一个大的文件(trunk file),为了支持这个机制,FastDFS生成的文件fileid需要额外增加16个字节

    1. trunk file id
    2. 文件在trunk file内部的offset
    3. 文件占用的存储空间大小 (字节对齐及删除空间复用,文件占用存储空间>=文件大小)

    每个trunk file由一个id唯一标识,trunk file由group内的trunk server负责创建(trunk server是tracker选出来的),并同步到group内其他的storage,文件存储合并存储到trunk file后,根据其offset就能从trunk file读取到文件。

    文件在trunk file内的offset编码到文件名,决定了其在trunk file内的位置是不能更改的,也就不能通过compact的方式回收trunk file内删除文件的空间。但当trunk file内有文件删除时,其删除的空间是可以被复用的,比如一个100KB的文件被删除,接下来存储一个99KB的文件就可以直接复用这片删除的存储空 间。

    HTTP访问支持

    FastDFS的tracker和storage都内置了http协议的支持,客户端可以通过http协议来下载文件,tracker在接收到请求 时,通过http的redirect机制将请求重定向至文件所在的storage上;除了内置的http协议外,FastDFS还提供了通过apache或nginx扩展模块下载文件的支持。

    enter image description here

    其他特性

    FastDFS提供了设置/获取文件扩展属性的接口(setmeta/getmeta),扩展属性以key-value对的方式存储在 storage上的同名文件(拥有特殊的前缀或后缀),比如/group/M00/00/01/some_file为原始文件,则该文件的扩展属性存储在 /group/M00/00/01/.some_file.meta文件(真实情况不一定是这样,但机制类似),这样根据文件名就能定位到存储扩展属性的 文件。

    以上两个接口作者不建议使用,额外的meta文件会进一步“放大”海量小文件存储问题,同时由于meta非常小,其存储空间利用率也不高,比如100bytes的meta文件也需要占用4K(block_size)的存储空间。

    FastDFS还提供appender file的支持,通过upload_appender_file接口存储,appender file允许在创建后,对该文件进行append操作。实际上,appender file与普通文件的存储方式是相同的,不同的是,appender file不能被合并存储到trunk file。

    问题讨论

    从FastDFS的整个设计看,基本上都已简单为原则。比如以机器为单位备份数据,简化了tracker的管理工作;storage直接借助本地文 件系统原样存储文件,简化了storage的管理工作;文件写单份到storage即为成功、然后后台同步,简化了写文件流程。但简单的方案能解决的问题 通常也有限,FastDFS目前尚存在如下问题(欢迎探讨)。

    数据安全性

    • 写一份即成功:从源storage写完文件至同步到组内其他storage的时间窗口内,一旦源storage出现故障,就可能导致用户数据丢失,而数据的丢失对存储系统来说通常是不可接受的。
    • 缺乏自动化恢复机制:当storage的某块磁盘故障时,只能换存磁盘,然后手动恢复数据;由于按机器备份,似乎也不可能有自动化恢复机制,除非有预先准备好的热备磁盘,缺乏自动化恢复机制会增加系统运维工作。
    • 数据恢复效率低:恢复数据时,只能从group内其他的storage读取,同时由于小文件的访问效率本身较低,按文件恢复的效率也会很低,低的恢复效率也就意味着数据处于不安全状态的时间更长。
    • 缺乏多机房容灾支持:目前要做多机房容灾,只能额外做工具来将数据同步到备份的集群,无自动化机制。

    存储空间利用率

    • 单机存储的文件数受限于inode数量
    • 每个文件对应一个storage本地文件系统的文件,平均每个文件会存在block_size/2的存储空间浪费。
    • 文件合并存储能有效解决上述两个问题,但由于合并存储没有空间回收机制,删除文件的空间不保证一定能复用,也存在空间浪费的问题

    负载均衡

    • group机制本身可用来做负载均衡,但这只是一种静态的负载均衡机制,需要预先知道应用的访问特性;同时group机制也导致不可能在group之间迁移数据来做动态负载均衡。
    ==============================

    http://www.zhdba.com/mysqlops/2014/03/07/fastdfs-arc/

    http://www.zhdba.com/songhl/2013/11/27/oracle%E3%80%81mysql%E3%80%81nosql%E4%BA%A7%E5%93%http://www.zhdba.com/81%E5%B7%AE%E5%BC%82%EF%BC%8C%E9%80%82%E5%90%88%E4%B8%8D%E5%90%8C%E5%9C%BA%E6%99%AF/


    http://www.zhdba.com/


    ===========================

    全站加速

    ACA全称是All Content Accelerator即全内容加速,是特定为网站包括动、静态在内的所有内容实现统一CDN全站加速的解决方案。ACA是独立于传统CDN体系外的全新平台,实施了多项新技术来实现网站全内容统一加速,它成熟的配套支撑系统保障其服务的稳定性,而完善的服务保障体系确保服务品质的完美体现。

    ACA平台自主研发的内容智能分析技术可以根据URL对访问内容进行智能的动、静态区分并进行相应的内容加速。

    =============================

    postgreSQL:PGsql

    http://www.aliyun.com/act/aliyun/rds_pgsql/demo.html?spm=5176.383338.2.2.7Pb5EL


    PCI-E

    PCI Express是新一代的总线接口

    PCIe 解决方案克服 I/O 瓶颈问题,可提供卓越的数据库设备性能

    专业设备,通用设备
    pcie 闪存

    =========================
    https://www.elastic.co/webinars/introduction-elk-stack

    https://github.com/chenryn/ELKstack-guide-cn

    https://www.elastic.co/

    elkstack的应用:日志

    https://www.elastic.co/products

    ==============================

    透视宝:前端、服务端性能.

    解析整个事务过程的应用性能表现 为您捕捉潜存性能风险的事务、执行最慢的代码方法和SQL语句

    https://www.toushibao.com/index.html

    http://www.jiankongbao.com/


    全局应用拓扑


    展开全文
  • 最全中华古诗词数据库, 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人,21050首词。
  • 最全中华古诗词数据库, 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人,21050首词。
  • 数据库大会

    2015-09-09 09:32:00
    中华数据库大会 http://www.zhdba.com/ http://meeting.zhdba.com/2014dtcc#7thpage http://my.oschina.net/yonghe/blog/356891?p=1 http://wenku.it168.com/huiyi/721 转载于:...
  • GitHub上最全中华古诗词数据库再次登上热榜,又火了一把。根据介绍,chinese-poetry最全中华古诗词数据库集合了唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人,21050首词。该项目已经...
  • 这里有最全的中华古典文集数据库,包含 5.5 万首唐诗、26 万首宋诗、2.1 万首宋词和其他古典文集。诗人包括唐宋两朝近 1.4 万古诗人,和两宋时期 1.5 千古词人。数据来源于互联网。
  • :construction:中华古诗数据库接口网 :old_key:中华古诗数据库接口网(Mongodb + Node.js),涵有近5.5万首唐诗,26万宋诗,以及万余唐宋诗人;数据源于 ;网站模板出自docker 。 产品特点 由和 , , , 和 将前端...
  • 中华新华字典数据库。包括歇后语,成语,词语,汉字。提供新华字典API。 中华新华字典数据库和 API 。收录包括 14032 条歇后语,16142 个汉字,264434 个词语,31648 个成语。 对性能没需求的话,可以用我的新华...
  • 该项目是基于 Python 爬虫采集数据,积累大量的 唐诗,宋词数据,作者在 github 说明中已经进行了说明: The most comprehensive database of Chinese poetry 最全中华古诗词数据库, 唐宋两朝近一万四千古诗人, ...
  • 自 1999 年数据库专委会成立以来,数据库专委会继承中国数据库多年来形成的优良传统,致力于办好这一传统的数据库盛会,为中国大陆、香港、台湾、澳门和海外华裔数据库研究者、开发者和用户提供一个大中华数据库论坛...
  • 作者获悉,中华财险车险系统已在全国29省成功上线蚂蚁集团自研数据库OceanBase。此次系统转型升级,是一次涉及交易、运营和后台,共计7个险种、100多个业务系统(25个核心业务)的重构,是保险行业有史以来第一次...
  • 中华新华字典数据库和 API 。收录了 包括 14032 条歇后语,16142 个汉字,264434 个词语,31648 个成语 供参考学习 全部都是json格式
  • 数据库原理

    2020-10-24 01:42:49
    例如填的表格就是结构化的数据,国籍:中华人民共和国,民族:汉,性别:男,这都叫结构化数据 非结构化的数据:非结构化的数据越来越多,就是不定长、无固定格式的数据,例如网页,有时候非常长,有时候几句话就没...
  • @xsp:中华文化博大精深,果断收藏了 @我是豆豆啊豆豆:“人间”真是个永恒的话题啊··· @逗猿一颗:最怕程序员有文 ∞ ∞∞∞ ∞ 公众号回复 “IT派” , 邀你加入IT派  { 技术交流群 } 
  • chinese-xinhua中华新华字典数据库和 API 。收录包括 14032 条歇后语,16142 个汉字,264434 个词语,31648 个成语。对性能没需求的话,可以用我的新华字典 API 。所有的数据放在 data/ 目录。Project ...
  • 下载全部会议资料,请点击标签 tag “2009中华医院信息网络大会” 2009中华医院信息网络大会:医院信息系统数据库安全审计方案的探讨-徐景日
  • 中华人民共和国国土资源行业标准 TDT 1016-2007 ,土地利用数据库标准
  • 2017中华数据库与运维大会 褚霸等 阿里云 直播时间:2017年6月03日 9:00 来自全国各行各业的IT从业人员将欢聚上海,探讨与交流数据库与运维经验,本次活动涵盖传统互联网、金融、交通运输、物流快递、制造等领域...
  • MongoDB大中华区首席架构师唐建法:关系型数据库到MongoDB的战略迁移 【编者按】数据库作为最关键的基础设施,渗透技术领域的方方面面。随着互联网时代的信息高速膨胀,传统关系型数据库因其高门槛、高成本以及...
  • 这个名为 “chinese-poetry”、号称 “最全中文诗歌古典文集数据库” 的项目,今日登顶 GitHub 热榜第一。 截止发稿,这一项目已获得近 2.5 万标星,Fork 超过 4600,受欢迎度可见一斑。 项目发起者名为 Jackey,在 ...
  • 数据库作为最关键的基础设施,渗透技术领域的方方面面。随着互联网时代的信息高速膨胀,传统关系型数据库因其高门槛、高成本以及扩展性差等原因导致的局限性逐渐浮出水面,如今更是面临诸多问题和挑战,在这一大环境...
  • 中国唯一的数据库

    2015-12-06 15:45:59
    中华民族的伟大复兴贡献一点点 小型数据库系统 唯一中国造

空空如也

空空如也

1 2 3 4 5 ... 17
收藏数 328
精华内容 131
关键字:

中华数据库