精华内容
下载资源
问答
  • 3月30日云栖社区在线实时分享顺利结束,本次由微博研发中心技术经理及高级技术专家陈飞分享了微博利用阿里云实现分钟级服务器规模成倍扩容的技术体系。本次直播中现场观众提出了很多技术问题,我们把这些问题和答案...

    3月30日云栖社区在线实时分享顺利结束,本次由微博研发中心技术经理及高级技术专家陈飞分享了微博利用阿里云实现分钟级服务器规模成倍扩容的技术体系。本次直播中现场观众提出了很多技术问题,我们把这些问题和答案整理好分享给大家。


    问答列表:

    Feed流目前貌似组成包括很多内容,比如最新、点赞、热门等,肯定涉及到大量排序计算,这个怎么处理的?

    当初为什么选择基于Docker构建这套架构?

    在使用阿里云产品过程中有什么经验心得?

    为什么选择阿里云?

    从零开始搭建容器云的技术选型

    微博的整体架构中,拆分了哪些大的服务模块?



    往期回顾贴:

    大咖直播第二期问答整理:游族李志勇讲解如何运维千台以上游戏云服务器

    https://yq.aliyun.com/articles/7919

    大咖直播第三期问答整理:邵汉成讲解驴妈妈基于混合云的OTA行业数据分析、精准运营和大数据用户推荐

    https://yq.aliyun.com/articles/38716

    大咖直播第四期问答整理:空格App亿元A轮融资背后,云上多场景技术架构实践与经验

    https://yq.aliyun.com/articles/39169

    大咖直播第五期问答整理:小咖秀张华伟讲解千万级用户App服务端架构设计

    https://yq.aliyun.com/articles/38856

    大咖直播第七期问答整理:美柚黄益聪最懂女性App背后的混合云架构与大数据服务

    https://yq.aliyun.com/articles/38870

    大咖直播第八期问答整理:有货李健讲解六层混合云架构打造中国最潮生态圈

    https://yq.aliyun.com/articles/38947


    展开全文
  • 把硬盘插在服务器上以后需要做那些操作?公司的svnsever安装盘和数据的存储盘在同一个,新加硬盘以后sever如何访问新的硬盘呢,是否在sever上添加一个新的磁盘存储路径即可。还是需要在新加的磁盘...
  • 1 CentOS 磁盘扩容操作 在CentOS7 系统上,添加了新的硬盘,接下来开始进行一组操作,将其挂在系统中并可以访问。先执行fdisk操作 查看磁盘具体容量 sudo fdisk -l 即可查看磁盘容量具体大小。 1.1 磁盘容量...

    1 CentOS 磁盘扩容操作

    在CentOS7 系统上,添加了新的硬盘,接下来开始进行一组操作,将其挂在系统中并可以访问。先执行fdisk操作 查看磁盘具体容量

    sudo fdisk -l

    即可查看磁盘容量具体大小。

    1.1 磁盘容量小于2T扩容

    使用下面一组命令

    #执行fdisk命令,进入到fdisk命令行模式
    fdisk /dev/vdb
    Command (m for help): m       //输入m,显示菜单,如下所示
    Command action
      a   toggle a bootable flag
      b   edit bsd disklabel
      c   toggle the dos compatibility flag
      d   delete a partition
      l   list known partition types
      m   print this menu
      n   add a new partition
      o   create a new empty DOS partition table
      p   print the partition table
      q   quit without saving changes
      s   create a new empty Sun disklabel
      t   change a partition s system id
      u   change display/entry units
      v   verify the partition table
      w   write table to disk and exit
      x   extra functionality (experts only)
    Command (m for help): n       //输入n,增加一个新的分区
    Command action
      e   extended
      p   primary partition (1-4):p //输入p,创建一个主分区
    Partition number (1-4): 1
    First cylinder (1-XXXXXX, default 1):                //这里直接按Enter键
    Using default value 1
    Command (m for help): w    //输入w,将分区信息写到磁盘里,后显示如下:
    The partition table has been altered!
    #格式化硬盘,至此设置 大于2T硬盘可以挂载
    mkfs.xfs -f /dev/sda1

    接下来 更新 分区表/etc/fstab文件,如下所示:

    /dev/sdba     /data2     xfs    defaults      0 0

    1.2 磁盘容量大于2T扩容

    使用下面一组命令

    #安装parted
    yum -y install parted 
    
    #执行parted命令,进入到parted分区命令行模式
    parted /dev/sda 
    #将MBR磁盘格式化为GPT
    (parted) mklabel gpt 
    #划分所有空间到一个分区
    (parted) mkpart primary 0 -1 
    #显示设置的分区大小 
    (parted) print 
    #退出parted程序
    (parted) quit
    
    #格式化硬盘,至此设置 大于2T硬盘可以挂载
    mkfs.xfs -f /dev/sda1

    接下来 更新 分区表/etc/fstab文件,如下所示:

    /dev/sdba     /data2     xfs    defaults      0 0

    重启后 便可以挂载 成功啦!!!

    2 KVM虚拟机中 Ubuntu上磁盘扩容操作

    在centOS7 上的Ubuntu虚拟机上可以直接使用 添加硬件的方式添加一个磁盘,前提是 CentOS7 服务器上有足够的空间,添加硬件的关键 操作如下

    在这里 根据自己服务器的实际情况添加 对应大小的硬盘即可。接下来进入到ubuntu中。

    特殊说明:同时 在虚拟机中建议每次分配的硬盘大小<2T,由于 虚拟机中磁盘空间 要随着工作需求和任务变化而变化,因此建议每次 分配空间<=2T即可。接下来在Ubuntu中分配空间的流程如下(以750G为例):

    使用fdisk 查看 对应磁盘设备的 设备节点,如下所示:

    对应的节点为红框标注,如下所示:

    接下来 使用fdisk来进行分区操作,命令帮助示意 如下所示:

    接下来 开始一组操作fdisk中的命令操作(对应命令和 CentOS7 中操作一致),如下所示:

    接下来进行格式化操作,如下所示:

    #格式化硬盘,至此设置 大于2T硬盘可以挂载
    mkfs.ext4 -F /dev/sda1

    接下来执行mount操作,如下所示:

    #mount 挂载操作
    mount /dev/vdb /data2

     

     

    展开全文
  • LVM 认知与扩容操作

    2016-09-13 00:18:00
    继上次 "Linux系统如何迁移至LVM磁盘"反响不错,近三百的访问量吧。这次想续写点东西,主要讲的是"LVM认知和扩容操作"。因为网上大多数不准确,可能作者也没有真实服务器可以做实验,然后俺比较幸运合伙搞IDC的,...

    继上次 "Linux系统如何迁移至LVM磁盘"反响不错,近三百的访问量吧。这次想续写点东西,主要讲的是"LVM认知和扩容操作"。因为网上大多数不准确,可能作者也没有真实服务器可以做实验,然后俺比较幸运合伙搞IDC的,所以这篇文章想给大家带来点帮助!


     

    环境背景介绍,北京峰鸟网络科技有限公司 有多台服务器。现在为了部署openvz环境,将机房中一台大母鸡交给俺进行运维,主要要进行安装和部署。操作系统选择的是"CentOS6.8"(较稳定同时支持Openvz),SSD磁盘大小为250G左右。

    但是在部署完成LVM以后,业务比较顺利。原来的大小不足以继续维持业务了,为了满足业务的正常运行。俺需要进行了LVM扩容。

    一、预备知识:

        1、LVM是什么?

    LVM Logical Volume Manager(逻辑卷管理)的简写,它由Heinz MauelshagenLinux 2.4内核上实现。LVM将一个或多个硬盘的分区在逻辑上集合,相当于一个大硬盘来使用,当硬盘的空间不够使用的时候,可以继续将其它的硬盘的分区加入其中,这样可以实现磁盘空间的动态管理,相对于普通的磁盘分区有很大的灵活性。

    与传统的磁盘与分区相比,LVM为计算机提供了更高层次的磁盘存储。它使系统管理员可以更方便的为应用与用户分配存储空间。在LVM管理下的存储卷可以按需要随时改变大小与移除(可能需对文件系统工具进行升级)LVM也允许按用户组对存储卷进行管理,允许管理员用更直观的名称("sales' 'development')代替物理磁盘名('sda''sdb')来标识存储卷。

    一般磁盘都是以SD开头*(当然还有代表HHD的HD开头),/dev/sda代表了第一快物理磁盘(可能500G、1T甚至3T),/dev/sdb代表管理员向服务器添加了第二快磁盘……以服务器所知识的磁盘接口为极限。同时/dev/sda1代表了磁盘的第一个分区(可以是1G、1T、794M都是有可能的)/dev/sda2代表着第一块磁盘的第二个分区。

    这里找到一张图同时解释一下:我们有了四快磁盘...同时都是一个分区(LVM不像RAID对大小有要求,LVM可以每个分区都不一样)!。这样我们就有了PV物理卷(physical volume(对LVM来说)。再者我们将所有PV物理卷(physical volume组合再一起作为VG卷组(Volume Group)(LVM逻辑卷(logical volume)圈定的一个组,可以多个组)。如图,这个组最后又分配给了多个分区(这样就是LVM,因为LVM是VG分配下来的,所以LVM也可以增大或减小)。这样就是LVM的大致解释,更多请看:https://en.wikipedia.org/wiki/Logical_volume_management

     

        2、LVM 优缺点?

    逻辑卷管理Logical volume managementLVM),为电脑中的大量存储设备(Mass storage devices)提供更有弹性的硬盘分区方式。它是一种抽象化存储技术,实现的方式,根据操作系统而有所不同。基本上,它是在驱动程序操作系统之间增加一个逻辑层,以方便系统管理硬盘分区系统。

    优点:安全,便捷。

    缺点:为满足上述"安全",成品高。

    这里,说明一个误区。很多人说LVM没有RAID那样安全。其实是因为对LVM没有正真理解,俺做过实验。LVM可以让RAID作为PV加入VG最后做出来的LVM是非常安全的(数据上)。但是这样来说要买更多的磁盘作为支持,并且完成这样的LVM需要更高的人力成本。

     

     

    二、LVM扩容实战:

    注意,为节省读者时间。已经删除了LVM的搭建过程(包括加入磁盘分区,加入PV等)

        3、LVM 中VG的加入

    vgextend <vgdisplay中查到的vgname> <经过pvcreate的/dev/sd磁盘>

    注意:这里俺用红色画出来了。在加入vg是使用的是"vgextend"命令,网上有人说要用"-add"参数,但是俺实践下来并不这样,红色为错误示范。黄色正确

       4、 LVM 中过程检验

    上面分别是vgs=vgdisplay 卷组(Volume Group以及lvs=lvdisplay 逻辑LVM卷(logical volume)的示结果。

        5、LVM 中磁盘"resize2fs"重分配

    resize2fs </dev/mapper/vg-lvm> <size>

    很多人都死在这里了。注意即便LVM建立完成了,也不能高兴太早。Linux系统并没有认出全部的空间的大小,"partprobe"或者"reboot"都是无效的。一定要resize2fs重新分配大小

    转载于:https://www.cnblogs.com/itxdm/p/lvm.html

    展开全文
  • 对于遇到过系统瓶颈,需要扩容的系统,恭喜你,你的系统一定是快速发展,遇到了访问量上升的情况! 【云架构,系统扩容案例】 先说下我个人的经历:我是做GPS防盗器系统的,硬件需要给后台服务器回发数据...

    不知道大家打开本文,有没有留意文章所在的分类节点:云计算。其实我的本意,是要将微服务跟云架构归类在一起。因为他们都有着一个相同的存在目的:方便扩容!  

    扩容。对于遇到过系统瓶颈,需要扩容的系统,恭喜你,你的系统一定是快速发展,遇到了访问量上升的情况!


    【云架构,系统扩容案例】

    先说下我个人的经历:我是做GPS防盗器系统的,硬件需要给后台服务器回发数据,所以硬件产品销售的越好,我的系统就需要面对越来越多的压力挑战。感谢经历了这样的一个过程,让我深刻意识到了系统扩容架构设计的巨大价值。我的项目里,经历过这么三个阶段:

    第一阶段:单机阶段

    单机应用,单进程应用,事实证明只能承载几百设备并发。

    通过改造多线程,IOCP设计模型,可以承载20000以上的并发

    瓶颈点:难以突破单机应用的并发能力,每次遇到难点都得重构。在我的案例里,就是可以增加到30000负载,增加不到50000万负载!

    第二阶段:手动拆分多服务器阶段

    手动分布式分离设计,网站,socket接收程序,缓存,数据库,使用自建机房独立运行。事实证明,可以承载几十万设备并发

    瓶颈点:自建机房防火墙设备有并发数限制,CISCO ASA 5515防火墙最大允许25万连接。

    第三阶段:云架构阶段

    云架构设计,通过修改系统,实现自动扩容。这个时候,客户端设备数再多也没事,因为阿里云SLB之后的ECS服务器数量可以随时添加和减少,目前已经达到了100多万的设备并发连接无压力。

    瓶颈点:仅限于我,将来数据库压力还需要进一步优化,但是目前并发设备数上百万毫无压力,不过阿里云的分布式数据库DRDS似乎也能解决我的难点。


    【微服务,模块化应用案例】

    我的案例下,重点解释了云架构的作用,没有重点介绍微服务的作用。但是实际上,在几次改造过程中,已经使用了一点点微服务的功能:

    模块化功能,刚才我的案例都是基于整体系统拆分,实际上还有个优化空间就是改造成微服务。“微服务应用”举例:

    登录系统功能:目前同时登陆用户最多也就几百人。登陆功能代码跟着网站整体发布,负载均衡下需要一下子维护起来一下子更新几十台web机器,显然太多余。如果登陆功能这个“微服务”组件单独发布,那么只用2台web机器(“登录功能专用服务器”)专门负载登陆功能戳戳有余。将来这部分系统压力增加,只需要增加一台“登陆服务器”即可。

    查询定位功能:每个人的定位页面都在高频率刷新访问,虽然只有几百人登陆,但是造成的访问次数却高达上万次。怎么办?专门拿出十几台web服务器,用于“定位查询服务器”。这样,如果监控到定位功能有问题,只需要从这十几台“定位查询服务器”中排查问题!

    结论:微服务的目的在于软件开发层面的功能化拆分。对于使用微服务:小项目用起来费力,大项目用起来省心。

    所以导致现在观点多种:

    没接触过大项目的人觉得微服务就是个累赘;

    接触过大项目的人承认微服务的价值,却不建议小项目使用微服务进行“高射炮打蚊子”

    一直做大流量项目的人,提倡使用微服务。


    【结论】

    微服务的价值:在于将来访问量上升时,精准调控某一个瓶颈点的功能,主要属于开发层面的储备

    云架构的价值:在于访问量上升时,直接增加服务器数量扩大系统承载阈值,主要属于运维层面的储备

    微服务+云架构:大型系统的重要组合!


    原文地址: https://www.opengps.cn/Blog/View.aspx?id=279 文章的更新编辑依此链接为准。欢迎关注源站原创文章!
    展开全文
  • 对于遇到过系统瓶颈,需要扩容的系统,恭喜你,你的系统一定是快速发展,遇到了访问量上升的情况! 【云架构,系统扩容案例】 先说下我个人的经历:我是做GPS防盗器系统的,硬件需要给后台服务器回发数据...
  • 场景2:你的公司在做一个促销活动,用户访问量已经达到上限瓶颈,服务器压力已经达到极限,如何快速的实现扩容,从而保证业务的正常运行 场景3:俏销活动结束后,如何快速缩容,释放服务器资源 下面介绍如何通过...
  • FastDFS为互联网身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标, 使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 Dubbo工作流程:服务治理...
  • 现场情况: ...OceanStor 3100划分两个LUN,文件服务器通过samba服务将此2个盘符映射为windows盘符F,G,windows客户机通过共享访问F,G盘符进行业务访问。因其业务发展迅速,现有磁阵容量已不能满足需...
  • 国庆上班,宝贝回家的志愿者开始说网站好像有点慢了,再后来说网站打不开了。登录服务器一看log,访问量增长的有点厉害啊,疑似CC攻击,打开了各种防护,流量还是居高不下...
  • 负载均衡解决了大量并发访问服务问题,其目的就是用最少的投资获得接近于大型主机的性能。 二、基于DNS负载 优点:实现简单、实施容易、成本低、适用于大多数应用 缺点:不能诊断后端服务器状态,做到动态剔除无效...
  • 6. 在大用户下,保证软件有较高的效率,用户在10万数量级时,增加,修改,删除一个用户的操作应在10秒的数量级内完成。 7. 支持灵活的网络结构。允许在一个节点支持多个Radius认证服务器和多个E-mail服务器。 8. ...
  • 背景windows服务器访问外部某个ip +端口 不通,但是ping 和tracert都正常经反复排查,排除安全策略过滤、丢包等可能原因 排查&解决方法1、检查服务器本身问题,发现内存占用率非常高;2、netstat 连接比较多3、...
  • 虽然我们在QA那里能够获取到各应用模块的性能数据,但在新项目上线或原有基础上扩容时,仍然需要每次重复评估服务稳定性,这说明我们在平时的工作中对服务系统的容量没有很直观的认识,对系统资源...
  • 本节书摘来异步社区《大型...虽然我们在QA那里能够获取到各应用模块的性能数据,但在新项目上线或原有基础上扩容时,仍然需要每次重复评估服务稳定性,这说明我们在平时的工作中对服务系统的容量没有很直观的认识...
  • 为了满足正常的业务需求,任何一个网站都要有硬件支持,无论日访问量是一个百万级的中型网站还是上亿级的大型网站。为了正常响应用户请求,都必须提前规划好业务容量。互联网的快速发展使得网站的流量无法预估,因此...
  • 解决这种大的并发问题,提高我们项目的访问量一直是我们项目性能经常需要探讨的一个问题,高并发的结局并不是无脑的扩容服务器,应该针对具体问题做出合适的性能优化策略。下面我会通过一个小案例来提高他的访问量 ...
  • 为了满足正常的业务需求,任何一个网站都要有硬件支持,无论日访问量是一个百万级的中型网站还是上亿级的大型网站。为了正常响应用户请求,都必须提前规划好业务容量。互联网的快速发展使得网站的流量无法预估,因此...
  • 摘要:随着数据暴增,单服务器开始疲于应对海量用户的访问。自本期《问底》,徐汉彬将带大家开启异地跨集群...我们的Web站点随着访问量的上升,会遇到很多的挑战,解决这些问题不仅仅是扩容机器这么简单,建立和使用合
  • FastDFS为互联网身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS架构:FastDFS架构包括...
  • 2、扩展:对于一般的用户来说,本地机房容量有限,如果遇到爆发性或者规模性的业务,扩容时一旦遭遇资源紧张,紧急扩容就无法进行,云服务器则不存在这种问题,一个机房不够,我们可以跨机房,甚至可以跨地域实现...
  • FastDFS 图片服务器

    2018-06-02 21:25:04
    FastDFS图片服务器 1. 图片服务器的安装1、存储空间可扩展。2、提供一个统一的访问方式。...FastDFS为互联网身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标...
  • FastDFS为互联网身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 (2)Fas
  • 文章目录一,前言二,搭建FastDFS文件服务器三,安装nginx及插件实现资源的...FastDFS 为互联网身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS很容易搭建一...
  • 图片服务器FastDFS

    2018-02-21 14:48:07
    1. 图片服务器的安装1、存储空间可扩展。2、提供一个统一的访问方式。...FastDFS为互联网身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建...
  • 支持存储服务器在线扩容。支持相同内容的文件只保存一份,节约磁盘空间。FastDFS只能通过Client API访问,不支持POSIX访问方式。 FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等...
  • 图片服务器是专门为图片读写操作优化的独立服务器,在当今项目的使用中,图片等静态资源成为不可或缺的载体,那么当我们访问量逐渐增大时,访问速度日趋下降时,我们此时就应该考虑从项目中抽取一部分功能。...
  • 对于用户量、访问量较大的网站,服务器内存需要大一些,否则容易造成网站访问缓慢。 3、硬盘:硬盘主要用于存储网站数据信息、用户数据自来哦等。对于一些刚搭建的网站,可以选择小一点的硬盘空间。不过随着网站...

空空如也

空空如也

1 2 3 4 5 ... 17
收藏数 339
精华内容 135
关键字:

服务器访问量扩容