精华内容
下载资源
问答
  • 滑至文章底部点获取在线播放《阳光之下》百度云资源在线观看、百度云网盘、全集已泄露、在线阅读、免费播放、更新时间、剧情介绍、超前点播这部剧真的算得上是一波三折了。18年就开始拍摄了,一直网传20年上映,结果...

    滑至文章底部点获取在线播放

    《阳光之下》百度云资源在线观看、百度云网盘、全集已泄露、在线阅读、免费播放、更新时间、剧情介绍、超前点播

    这部剧真的算得上是一波三折了。18年就开始拍摄了,一直网传20年上映,结果遇到上映风波,因为剧中一些情节原因,未能通过,后来又在今年11月传出了改名风波。就在广大网友以为今年就再也看不到这部剧的时候,没想到,它居然悄悄的播出了。而且,一播出就是4集,简直就是对广大网友的福利呀!

    突然静悄悄的上映,网友还没反应过来,有些措手不及,但是第一反应还是赶紧追剧啊,毕竟等了那么久。但是大家刚看了四集,发现剧情改动的有点大。

    2f50b757b0d3b9009fd4d0c1c2ae600a.png

    一开始剧名改为《阳光之下》是为了上映,因为一直没能上映,不少网友还调侃到就算把名字改为“正道的光”“月亮之上”也没关系。只要能够播出。结果就在昨天播出之后,网友发现不仅剧名改了,连主角的名字也改了。

    进最后阅读原文获取免费资源在线观看

    bc0be41b160244490077f65309e09fde.gif

    资源整理不易,点个“在看”鼓励一下?

    bc0558d3a3229f3ca5ae228ead462aa0.png
    展开全文
  • 1.下载 wget ... 2.解压: unzip BaiduPCS-Go-v3.5.6-linux-amd64.zip 3.将解压后的文件改名为BaiduPCS-Go:  mv BaiduPCS-Go...

    1.下载

    wget https://github.com/iikira/BaiduPCS-Go/releases/download/v3.5.6/BaiduPCS-Go-v3.5.6-linux-amd64.zip

    2.解压:

    unzip BaiduPCS-Go-v3.5.6-linux-amd64.zip

    3.将解压后的文件改名为BaiduPCS-Go: 

    mv BaiduPCS-Go-v3.5.6-linux-amd64 BaiduPCS-Go

    4. cd BaiduPCS-Go/

    5. sudo ./BaiduPCS-Go

    6.登录:

    login -bduss=Cookie

    此处的Cookie是浏览器登录百度之后的Cookie.获取方法如下图:

     

    登陆之后,就是linux一样,命令解决.

    ls等

    下载:比如下载 文件夹 a.命令     d a/

    展开全文
  • 桉树(Eucalyptus)管理工具被慧与公司收购后改名为 Helion Eucalyptus,其继续开源,不过在 OpenStack 的竞争下,桉树发展渐行渐远,昔日风光已不在。 桉树是一个基于 Linux 的模块化的软件架构,在企业现有的 IT...
  • * admin 后台管理目录,为了安全请改名 video API模块目录 save 数据保存目录,注意:权限必须为755以上,不然无法后台更新配置; cache 文件缓存 目录 注意:权限必须为755以上,不然无法正常工作; ...
  • 我是祝威廉,本来微博也想叫祝威廉的,可惜被人占了,于是改名叫·祝威廉二世。然后总感觉哪里不对。目前在乐视数据部门里从事实时计算,数据平台、搜索和推荐等多个方向。曾从事基础框架,搜索研发四年,大数据...
        

    Hi,大家好!我是祝威廉,本来微博也想叫祝威廉的,可惜被人占了,于是改名叫·祝威廉二世。然后总感觉哪里不对。目前在乐视云数据部门里从事实时计算,数据平台、搜索和推荐等多个方向。曾从事基础框架,搜索研发四年,大数据平台架构、推荐三年多,个人时间现专注于集群自动化部署,服务管理,资源自动化调度等方向。

    这次探讨的主题是:

    *** 基于 HBase 做 Storm 实时计算指标存储 ***

    HBase 实时指标存储是我入职乐视云后对原有的实时系统改造的一部分。部分分享内容其实还处于实施阶段。架构方案设计的话应该是仁者见仁智者见智,也会有很多考虑不周的地方,欢迎大家批评指正。说不定大家听完分享后好的提议我们会用到工程上,也为后面的实际课程做好准备。

    我之前做过一次大数据的课,比较 Naive,但是也包含了我对数据平台的一些看法。
    参看:http://www.stuq.org/course/detail/999

    好了,步入正文,O(∩_∩)O~

    • HBase 存储设计
    • Storm 结果如何存储到 HBase
    • HBase 写入性能优化
    • 与传统方案 (Redis/MySQL) 对比

    乐视云内部用 Storm 做 CDN,点播,直播流量的计算,同时还有慢速比,卡顿比等统计指标。相应的指标会由指标名称,业务类型,客户,地域,ISP 等多个维度组成。指标计算一个比较大的问题是 Key 的集合很大。

    举个例子,假设我们有客户 10w,计算指标假设 100 个,5 个 ISP,30 个地域,这样就有亿级以上的 Key 了,我们还要统计分钟级别,小时级别,天级别,月级别。所以写入量和存储量都不小。

    如果采用 Redis/Memcached 写入速度是没有问题的,毕竟完全的内存操作。但是 key 集合太大,其实压力也蛮大的,我去的时候因为加了指标,结果导致 Memcache 被写爆了,所以紧急做了扩容。

    首先是 Redis 查起来的太麻烦。客户端为了某个查询,需要汇总成千上万个 Key。。。业务方表示很蛋疼,我们也表示很蛋疼
    其次,内存是有限的,只能存当天的。以前的数据需要转存。

    第三,你还是绕不过持久化存储,于是引入 MySQL,现在是每天一张表。那 Redis 导入到 MySQL 本身就麻烦。所以工作量多了,查询也麻烦,查一个月半年的数据就吐血了。

    鉴于以上原因,我们就想着有没有更合适的方案。

    我们首先就想到了 HBase,因为 HBase 还是具有蛮强悍的写入性功能以及优秀的可扩展性。而事实上经过调研,我们发现 HBase 还是非常适合指标查询的,可以有效的通过列来减少 key 的数量。

    举个例子,我现在想绘制某一个视频昨天每一分钟的播放量的曲线图。如果是 Redis,你很可能需要查询 1440 个 Key。如果是 HBase,只要一条记录就搞定。
    我们现在上图:

    1063603-fc60d64e34620234.png
    HBase存储结构设计.png

    这里,我们一行可以追踪某个指标一天的情况。如果加再加个维度,无非增加一条记录。而如果是 redis,可能就多了一倍,也就是 2880 个 key 了。

    假设该视频是 A,已经在线上 100 天了。我们会记录这个视频所有的 1 分钟播放数,用 Redis 可能有 100*1440 个 key,但是 HBase只要获取 100 条记录就可以找出来,我们把时间粒度转化为了 hbase 的列,从而减少行 (Key)。

    我们知道 HBase 是可以多列族,多 Column,Schemaless 的。所以这里,我们建了一个列族,在该列族上,直接建了 1440 个 Column。Column 的数目和时间粒度有关。如果是一分钟粒度,会有 1440 个,如果是五分钟粒度的会有 288 个,如果是小时粒度的,会有 24 个。不同的粒度,我们会建不同的表。

    写入的时候,我们可以定位到 rowkey,以及对应的 column,这里一般不会存在并发写。当然 HBase 的 increment 已经解决了并发问题,但是会造成一定的性能影响。

    查询的时候,可根据天的区间查出一条相应的记录。我们是直接把记录都取出来,Column 只是一个 Int/Long 类型,所以 1440 个 Column 数据也不算大。
    Storm 计算这一块,还有一个比较有意思的地方。假设 A 指标是五分钟粒度的,也就是说我们会存储 A 指标每个五分钟的值。但是在实际做存储的时候,他并不是五分钟结束后就往 HBase 里存储,而是每隔(几秒/或者一定条数后)就 increment 到 HBase 中,然后清除重新计数。

    这里其实我要强调的是,到 HBase 并不是覆盖某个 Rowkey 特定的 Cloumn 值,而是在它原有的基础上,做加法。这样做可以防止时间周期比较长的指标,其累计值不会因为有拓扑当掉了而丢失数据(其实还是会丢的,但可能损失的计数比较少而已)。

    丢数据比如你 kill-9 了。

    大家可以想象一下,如果我计算一个五分钟的指标,到第三分钟挂掉了,此时累计值是 1000,接着拓扑重启了,五分钟还没完,剩下的两分钟它会接着累计,此时是 500。如果是覆盖写,就会得到不正确的结果,实际上整个完整的计数是 1500。

    防止拓扑当掉并不是这样设计的主要原因,还有一点是计算延时了,比如某个数据片段因为某个原因,延时了十分钟才到 Storm 实时计算集群,这个时候新得到的值还可以加回去,如果是覆盖,数据就错误了。

    所以 HBase 存储这块就变成做加法操作而不仅仅是简单的更新了。目前 HBase 添加了计数的功能 (Increment),而另外一个比较神奇的接口设计的地方是,竟然没有从名字上看的出是批量increment接口,一开始我以为没有,后面是去看源码,才发现是有的,就是batch接口,put,increment等都可以使用这种接口去批量提交,提高查询效率。

    另外 HBase 的 Client 也是非常的奇特,比如 HTablePool 竟然是对象池而不是真实的Connection连接池,多个 HTable 对象是共享一个 Connection 链接的。当然,这里 HTable 的 Connection 会比较复杂,因为要连 Zookeeper 还有各个 Region。如果过多了,可能会对Zookeeper造成压力,这倒也问题不大。

    如果不使用批量接口,客户端的写入量死活是上不去。16 台 32G,24 核的服务器,我做了预分区 (60个左右),用了四十个进程,300 个左右的线程去写,也就只能写到 60000/s 而已。

    但实际并发应该是只有 40 左右的。300 个线程并没有起到太多作用。

    还有就是,HBase 的 incrementColumnValue 的性能确实不高。至少和批量 Put 差距很大。所以一定要使用Batch接口。性能可以提升很多倍。

    我们的测试中,还是比较平稳的,整个写入状态。抖动不大。

    在整个过程中,有两点要注意:

    1. 预分区
    2. rowkey的设计要满足两个均匀,** 数量分布均匀 **, ** 读写分布均匀 **。尤其是第二个均匀。

    预分区是要看场景的,在我们这个场景下是预分区是非常重要的。否则一开始都集中在一台机器的一个 Regin 上写,估计很快写的进程就都堵住了。上线就会挂。

    所以我事先收集了几天的 key,然后预先根据 key 的分布做了分区。我测试过,在我们的集群上,到了 60 个分区就是一个瓶颈,再加分区已经不能提升写入量。

    写入我们也做了些优化,因为写的线程和 Storm 是混用的(其实就是 Storm 在写)。我们不能堵住了 Storm。这点我们是通过rowkey的设计来解决,保证写入和读取都能均匀的分布在HBase的各个Regin上。如果写入出现问题(比如HBase出现堵塞),一个可选的方案是将数据回写到kafka,然后再起一个拓扑尝试重新写。第二个就是HBase的主从高可用,这个有机会以后再谈。

    上面的设计稿中,大家可以看到Rowkey的组成。我的建议是这样

    真实key的md5 + 时间(精确到天) + 真实的key

    因为md5还是有可能碰撞,所以真实的key必须存在,这点很重要,否则一旦有碰撞,计费就出问题了。

    我们总结下上面的内容:

    • Redis/Mysql 存储方案存在的一些缺点。
    • HBase 表结构设计,充分利用了 HBase 自身的特点,有效的减少Key的数量,提高查询效率。
    • Storm 写入方案,用以保证出现数据延时或者 Storm 拓扑当掉后不会导致数据不可用。

    我们再看看整个存储体系完整的拓扑图。

    1063603-69f340bc16b3d9ff.png
    实时落地流程设计.png

    第五个圆圈是为了在实时计算出错时,通过 Spark/MR 进行数据恢复。
    第二个圆圈和第四个圆圈是为了做维度复制,比如我计算了五分钟的值,这些值其实可以自动叠加到对应的小时和天上。我们称为分裂程序
    第三个圆圈就是对外吐出数据了,由我们的统一查询引擎对外提供支持查询支持了。

    我们对查询做一个推演。如果我要给用户绘制流量的一个月曲线图。曲线的最小粒度是小时,小时的值是取 12 个五分钟里最高的值,我们看看需要取多少条记录完成这个查询。

    我们需要取 31 条五分钟的记录,每条记录有 288 个点,对这 288 个点分成 24 份(具体就是把分钟去掉 groupBy 一下),求出每份里的最大值(每组 SortBy 一下),这样就得到了 24 个值。

    我取过两天的,整个 HTTP 响应时间可以控制 50ms 左右(本机测试)。

    上面的整体架构中,分裂程序是为了缓解实时写入 HBase 的压力,同时我们还利用 MR/Spark 做为恢复机制,如果实时计算产生问题,我们可以在小时内完成恢复操作,比如日志的收集程序、分拣程序、以及格式化程序。格式化程序处理完之后是 kafka,Storm 对接的是 Kafka 和 HBase。

    上面就是今天分享的内容了。
    感谢大家。

    课程 Q&A

    Q:海量存储容灾备份怎么做?

    A:这个问得比较大。我只能从 HBase 的角度大概说下。HBase 是基于 HDFS 做的,HDFS 本身数据就会有 replication。通常是 3 份。所以一般机器故障是没什么问题的。但是要做到灾备,可能就要涉及到多机房问题了。比如冷备或者所谓的多活等方案。

    Q:祝同学现在的工作主要是哪些?我也是做云服务器的,想请教下以后的职业发展。

    A:目前现阶段主要工作是实时计算的架构调整,以及数据平台的构建,为未来的更详细的数据分析和推荐等做好准备。云服务这块,我觉得方向可以多参看 DaoCloud,数人科技。
    深入容器技术或者资源调度,或者整合现有技术做完整解决方案。在整个大数据领域,算法工程师最吃香,架构也不错。

    Q:祝老师能介绍下架构中数据恢复的机制么?

    A:数据恢复是通过离线 MR/Spark 完成的。其实就是对原始日志重新做一遍处理。这个主要是应对实时计算出现故障,补录数据用的。

    Q:distinctcount,是该如何计算,比如在这一个月 ip 数?

    A:通过 Redis 来去重的。

    Q:祝老师,您好,对于初学者进入打数据领域学习,有什么建议于指导,是否需要这么大量的支撑,平时可能遇不到您说的那种情况。

    A:对于大数据,我觉得首先要有个一个正确的理念。这个参看我之前的课程:↓请点击“阅读原文”查看,第一节讲的就是如何正确认识大数据。通常会有五个方向:

    • 平台架构
    • 基于平台之上的应用开发
    • 算法
    • BI/可视化
    • 数据分析
      目前比较炙手可热的是算法,薪资较高。其实各有各的挑战。做的好都行。除了你自己想要的做的,公司的发展其实对你的职业发展影响也会比较大。

    Q:老师我对您那个架构有一个问题既然有 1在计算为啥还要有 2 和 4?

    A:我们是做实时计算的。但是实时计算可能出现故障,比如 crash 或者有些 bug,这个时候就需要 2/4 离线补录重算。

    Q:针对你们的一分钟设计,如果列值比较复杂,比如要分析用户数,用户来源,用户 ip 等等,这个时候怎么设计表结构?

    A:用户来源,用户 ip 应该设计在 key 里而不是列里。列里存的是某个 key 在某天的某个一分钟里产生的数。对于 HBase 理论上其实我也是不怕 key 多的,它本来就是为了海量存储设计的。

    Q:HBase 是否适合做实时统计分析,比如 group by 操作如何能够支撑高并发?

    A:不适合。只适合简单的 key 查询或者 rowkey 的 range 查询。我不建议在其之上做复杂运算。

    Q:祝老师您好,我最近要一个协处理器的功能,但是业务需要区别 hbase 的新增和更新,我在 Google 找到 incrementcolumnvalue 可以做到,但是目前并没有试成功,请问您有没有这方面的经验或者建议呢?谢谢!

    A:无法使用是版本问题么?incrementcolumnvalue 就是新增,不存在则视初始值为 0,并且它会直接返回新增后的结果值,并且能保证原子操作。

    展开全文
  • 创建阿里云资源时,您可以给资源绑定标签。已经创建的资源,也可以在资源列表页面或者通过API,批量的添加、更改和删除标签。当遇到如下更为复杂问题和场景,该如何快速解决标签问题呢?资源跨度大,需要跨资源类型...

    创建阿里云资源时,您可以给资源绑定标签。已经创建的资源,也可以在资源列表页面或者通过API,批量的添加、更改和删除标签。当遇到如下更为复杂问题和场景,该如何快速解决标签问题呢?

    • 资源跨度大,需要跨资源类型、跨地域,将关联的资源打上标签。
    • 资源数量多,几百甚至上千个资源,如何批量编辑?
    • 命名不一致,如何规整资源命名不一致的标签?
    • 删除改名难,如何快速对资源标签完成删除和改名?
    • 如何导出包含标签信息的完整资源列表?

    标签编辑器

    标签编辑器(Tag editor)是云服务器控制台标签部分最近推出的解决复杂标签编辑问题的界面工具。

    它可以支持跨地域、跨资源类型查询最多5000个资源,并对这些资源进行资源导出、标签编辑的操作。

    功能介绍

    1. 查找资源

    18a5f77faec99581e9a60d2222ee96e6.png

    查找资源的过滤条件支持地域,资源类型和标签。

    其中,地域、资源类型必填,支持选择全部。标签为可选项,可多选。点击查找资源后,下方资源列表则会展示查找结果。

    在搜索结果中,还可以继续根据关键词进行搜索和过滤。

    2. 资源导出

    2.2 编辑列表展示项

    默认资源列表展示的资源属性项是ID,名称,产品服务,资源类型,地域和标签。

    您可以点击资源列表右上角的"自定义列表展示项"按钮,指定某些属性和标签键显示。

    081f5516872e69e29095db2d8e788d4e.png

    如图,我们可以指定IP地址和标签键为 Application 的列表展示项。

    5ecad5f019850e932787215bd483f695.png

    可以看到每个资源在标签键 Application 下的标签值。

    2.3 导出已选资源到CSV

    勾选您需要导出的资源,或者点击 全部选中 按钮选择全部资源。

    然后点击 导出已选资源到CSV 按钮可以选择

    • 导出全部属性
    • 导出可见列属性

    导出全部属性 导出的CSV数据,不仅包含资源属性,还包括导出资源的标签键下对应的每个标签值。

    导出可见列属性 导出的CSV数据,则包含2.2中设置的可见列属性。

    3. 资源标签编辑

    选择要编辑的资源后,点击 编辑已选资源的标签 按钮,进入资源编辑界面。

    95598dc7514a6ee085e496ff826a68d9.png

    首选是确认 选中的资源 的列表,下方为 编辑选中资源的标签

    35ff8bdcc83b2e82e6c91e00651c8d69.png

    列表展示已选资源下绑定的所有标签键,以及对应的值(如果已选资源下同一标签键值相同,则输入框默认为该值。如果有不同的值,默认下输入框为空,表示不编辑原有值)。可以对资源进行添加标签、删除标签和修改标签的功能。

    • 添加标签:添加的标签将绑定到已选择的资源。
    • 删除标签:将会删除已选择的资源上对应的标签键。
    • 修改标签:选择或者输入任意新标签后,将统一修改为选择的标签值。例如:已选资源都存在标签键Application, 资源下有 WebDocker两个标签值,则可以修改为 Web,也可以修改为Docker,也可以修改为新值。

    作者:郁苍

    本文为阿里云原创内容,未经允许不得转载。

    展开全文
  • 创建阿里云资源时,您可以给资源绑定标签。已经创建的资源,也可以在资源列表页面或者通过API,批量的添加、更改和删除标签。当遇到如下更为复杂问题和场景,该如何快速解决标签问题呢?资源跨度大,需要跨资源类型...
  • 创建阿里云资源时,您可以给资源绑定标签。已经创建的资源,也可以在资源列表页面或者通过API,批量的添加、更改和删除标签。当遇到如下更为复杂问题和场景,该如何快速解决标签问题呢? 资源跨度大,需要跨资源...
  • MySQL安装及可视化工具使用

    万次阅读 多人点赞 2016-09-22 17:54:38
    将下载的数据库的压缩文件解压在本地文件夹,个人解压在D:\MySQL下,如下图: 创建my.ini文件将解压文件下的my-default.ini文件复制一份,改名为my.ini,如果没有,创建一个空的txt文件,改名为my.
  • ↑ 点击上方“Java架构师社区”关注我们,设置为星标回复"架构师"获取资源架构师带你飞系列②和之前介绍的Crane不同,来自好雨(GoodRain)的帮(~~CloudHelp~~目前已改名RainBond)是基于K8S的,说实话,感觉比...
  • MySQL与可视化工具的安装

    千次阅读 2018-12-18 15:09:39
    资源下载 MySQL数据库mysql-5.6.19-winx64 百度地址可视化工具下载 安装前配置 解压文件 将下载的数据库的压缩文件解压在本地文件夹,个人解压在D:\MySQL下,如下图: 创建my.ini文件 将解压...
  • 资源下载 MySQL数据库 mysql-5.6.19-winx64 百度地址 安装前配置 解压文件 将下载的数据库的压缩文件解压在本地文件夹,个人解压在D:\MySQL下,如下图: 创建my.ini文件 将解压文件下的my-default.ini...
  • 尤其是鸿蒙系统将兼容安卓应用这一点,更是让人心生怀疑,认为鸿蒙不过是安卓“换皮”,也因此引出了另一个同样兼容安卓应用的操作系统——阿里OS(后改名YunOS)。阿里OS的出身不可谓不好,背靠阿里巴巴这颗参天...
  • CAS安装包已经上传到百度 链接:https://pan.baidu.com/s/1U-PvX3b9ugGOzoWSpdVNUg 提取码:8d6w 安装步骤 下载完成后,解压,在资源\cas\source\cas-server-4.0.0-release\cas-server-4.0.0\modules 目录下 cas-...
  • Docker是基于Go语言实现的开源项目,诞生于2013年初,最初发起者是dotCloud公司。Docker自开源后就受到广泛的关注和讨论,目前已有多个相关项目,逐渐形成了围绕Docker的生态体系。dotCloud公司后来也改名为Docker...
  • 安装软件的三种方式 ...需要配置对应系统的yum源(阿里、163、清华) 自动解决依赖安装 可以配置多资源的库 源码编译安装服务 需要把源码文件翻译成计算机能识别的二进制文件,再进行安装 下载源码文件
  • Hi,大家好,我叫祝海林,微信号叫祝威廉,本来微博也想叫祝威廉的,可惜被人占了,于是改名叫·祝威廉二世。然后总感觉哪里不对。目前在乐视数据部门里从事实时计算,数据平台、搜索和推荐等多个方向。曾从事基础...
  • 它内置了相当丰富的绘图资源,包括各类形状、图标、连接器、模板,能满足绝大大多数的绘图需求,还可以导入第三方图标资源满足更多需求,完全可以取代微软 Visio 等流程图软件。在线版实际是运行于浏览器中,无需...
  • 百度音乐是由经典音乐播放器千千静听改名而来,百度音乐继承千千静听的优点,对榜单、歌手、分类、专题等板块进行了优化升级,除了同步更新移动客户端的智能音效增强功能外,同时还新增了MV视频、歌单频道等优质内容...
  • ✅ PHP中文站:最专业的PHP资源网站:PHP教程, PHP中文手册, PHP开发工具, PHP框架文档大全!- 更多介绍 2020年7月23号添加 功夫熊猫(北京) - Github ✅ 名校讲座: 收集发布北京上海等地名校的公开讲座,让更...
  • 我与另外一个小伙伴(花名:凌霄,现在阿里淘宝部门)于今年三月份开始重写zeus,改名赫拉(hera) ***项目地址:git@github.com:scxwhite/hera.git *** 架构 hera系统只是负责调度以及辅助的系统,具体的计算还是要...
  • mahara教师评价系统

    2014-12-31 16:14:43
    2 解压源码包, 把文件夹里面的 htdocs 文件夹改名 mahara 或者你想要的名字, 并复制到 xampp 的 htdocs 文件夹中。作为网站根目录的一个子目录 3.在 mysql 里面见一个新数据库,字符集选择 utf-8。 4.复制 mahara ...
  • 至于会不会偷偷上传用户的账户记录,我们郑重声明绝对不会,而且将来也不打算开发储存这类的功能,因为信息只有保存在本地保存在自己手里才是相对最安全的。另外嵌入的广告SDK也不可能访问到密码管家的内部加密...

空空如也

空空如也

1 2
收藏数 24
精华内容 9
关键字:

云资源改名