精华内容
下载资源
问答
  • 2017-12-08 14:03:58

    配置几个namenode,几个datanode,namenode和datanode怎么部署,内存与硬盘大小。


    最好是两个做成HA
    关于硬盘:
        6T的数据容量,看你副本数量设置是多少,一般默认为3,那么仅这些就需要18T硬盘,稍微大一点20T吧;这仅仅是HDFS存储;(这里我说的是一个月的,你数据保存几个月,就乘几倍)
        如果你集群上面要跑计算,MR计算出来的数据要保存HDFS的,所以,还是要根据你的结果数据来做判断,大小就看你计算任务了.
        一般是这样计算硬盘大小

        (原始数据+中间数据+结果数据)*副本数量=总硬盘大小

    关于内存:
        namenode不用说了,主要就是用内存保存block和node之间对应关系的,也是要根据数据大小计算的,6T/Block大小(默认为128M)=有多少block-->M个

        一个block占多少内存: 保守地设置每一百万数据块需要1000MB内存
        namenode总内存(兆M)=M*1000MB/100万

        datanode的内存: 一般问题不大,一般都是用于mr的计算,这个东西根据你性能的需要设置

    关于多少台机器?
        根据Task任务的数量和你的性能指标来做决定

        一个Block对应一个Mapper任务,上面算出来M个Block了,mapper任务也是那么多

        实际测试一下,一定数据量在x台机器上运行时间,根据你的指标去评定要多少台机器

        hadoop集群的性能和节点个数近似成正向关系

    更多相关内容
  • 一台服务器需要多少钱?

    千次阅读 2020-12-29 01:53:02
    你要问买一台服务器需要多少钱?你得知道,服务器有几千块钱的也有几万块钱一年的,最便宜的2G4核的美国服务器500一个月,4核8G的要5k一个月,那2核4G的服务器能干什么?具体要看你的需求。如果只是用来放官网,云...

    你要问买一台服务器需要多少钱?你得知道,服务器有几千块钱的也有几万块钱一年的,最便宜的2G4核的美国服务器500一个月,4核8G的要5k一个月,那2核4G的服务器能干什么?具体要看你的需求。如果只是用来放官网,云服务器就可以满足你的需求,两三百一年的一大堆,如果网站不想备案,也可以购买香港云服务器和vps!

    一台服务器的价格取决于你选择的配置, 价格根据你选择的配置高低是有决定性的关键的,如果你选择16g 16h 50M带宽这类的不建议去用云服务器

    还是去找下物理服务器的价格比较划算, 云计算 的 低配置 划算, 高配置还是物理服务器划算。

    一台服务器一个月需要的费用

    香港云: 基础型CPU:2核心内存:2GB流量:无限月流量硬盘:50GBIP数:1个带宽:3M¥258/月

    香港服务器:CPU:Core i3-4150内存:8GB流量:无限月流量硬盘:1TBIP数:2个带宽:10M独享直连

    买一台服务器需要多少钱取决于你的网站类型:

    1、像一般的个人网站或者仅做展示型的企业网站,需要的配置不用太高,前期可以选择虚拟主机类型的云服务器,一年下来估计一两千,再简单些的,几百块就能搞定;

    2、如果是做数据库、企业信息化、网络游戏等比较重要用途的,企业更多会租独立服务器设备。配置正常的服务器,每台一年大概是七八千或一万左右,租的越久就越便宜;

    3、要是一个游戏、视频网站,那服务器价钱就不封顶了,像新开的网页游戏网站,前期规模和访问量不大,16G内存50M带宽妥妥的。如果想跟LOL抢市场那得自建数据中心了;

    要说,买一台云服务器还是物理服务器合适,首先得知道,使用云服务器的用户群体比较大,通常都是比较中小型的网站,所以能用物理服务器的网站肯定是网站流量数据庞大,同时在稳定性方面要求更高。这也是为什么大家会选择租用服务器方式,服务器的租用可以灵活选择租用期限,有几个月的,半年的,一年的,两年的,企业可以按需租用。

    为啥感觉买一台云服务比传统服务器还贵?

    1、“感觉还不如租个独立服务器呢”,是指机房里具体一台你自行维护,还是 dedicated server

    那种专用服务器?如果是后者,贵吗?前者的话,你似乎只考虑了服务器的基础硬件成本,剩下的还有存储、网络、散热、电源等。

    2、存储,你 JBOD 或者 RAID 0,一个硬盘挂了数据尽失,重要客户数据丢失甚至可以导致公司倒闭。你做一些比较经济的 RAID

    一旦挂了还要等重建,压力可想而知。

    3、网络,腾讯去年广州机房某天某工地作业把你用的那个 ISP 的光缆挖断了,你们的业务不能访问大半天。

    4、散热,你把机器放在公司或者托管机房里,某天你服务器的风扇卡住了或者你放在机房的机器旁边的空调正好出问题了,导致过热降频,服务运行非常缓慢甚至宕机。

    5、电源,我还真遇到过我托管的机房有次竟然停电了一天。

    当然,租用服务器出现问题,都有专业团队帮你打理。有些商家也会打出“租用服务器送产权”的优惠活动,一般用户租用一年或者两年后,服务器产权归用户所有。这里需要注意的是,关于是否要产权的问题建议根据租用时间的长短来决定。如果选择要租用服务器要产权,建议在租用前要签订好合同,以避免租用合同到期后,不良服务商更换服务器硬件配置!

    综上所述,买一台服务器多少钱?主要和服务器配置、服务器规格、带宽大小以等因素有关,配置越高,租用费用自然越高。租用服务器的时候,企业可以根据自己的业务需求,向服务器租用商提出对硬件配置的要求,互联数据可以根据需求进行定制。服务上,互联数据等正规企业能做到:7x24全年不间断在线,100%据安全保障,0元贴心用户服务。

    0

    上一篇:韩国服务器租用价格表

    下一篇:日本服务器租用哪家好?

    展开全文
  • 一般可以将数据库中的数据生成csv文件,对于多服务器部署的分布式微服务,有时候...连接另一台服务器的代码如下 /** * @param host * 另一台服务器地址 * @param port * 另一台服务器端口 * @param usernam

    一般可以将数据库中的数据生成csv文件,对于多服务器部署的分布式微服务,有时候需要将生成的文件放在外部网关或其他服务器中

    本篇可以实现通过代码连接其他服务器,并可以传送文件至其他服务器中,并且路径可以自定义
    注:需要有另一台服务器的权限账号

    连接另一台服务器的代码如下

    /**
         * @param host 
         *            另一台服务器地址 
         * @param port 
         *            另一台服务器端口 
         * @param username 
         *            另一台服务器权限账户用户名 
         * @param password 
         *            另一台服务器权限账户密码 
         * @return 
         */
    public ChannelSftp connect(String host, int port, String username,  String password) {  
                ChannelSftp sftp = null;   
                JSch jsch = new JSch();  
                jsch.getSession(username, host, port);  
                Session sshSession = jsch.getSession(username, host, port);   
                sshSession.setPassword(password); 
                Properties sshConfig = new Properties();  
                sshConfig.put("StrictHostKeyChecking", "no");
                sshSession.setConfig(sshConfig);  
                sshSession.connect();  
                Channel channel = sshSession.openChannel("sftp");  
                channel.connect();  
                sftp = (ChannelSftp) channel; 
                return sftp;  
        } 
    

    将本地服务器上的文件传送至另一台服务器代码如下

    /** 
         * 文件上传 
         *  
         * @param directory  上传至另一台服务器的存储路径
         * @param uploadFile 本服务器需要上传的文件路径及文件名
         * @param sftp  调用上方连接另一台服务器的方法connect
         */  
        public void SendFile(String directory, String uploadFile, ChannelSftp sftp) {  
            
            sftp.cd(directory);  
            File file = new File(uploadFile);  
            sftp.put(new FileInputStream(file), file.getName());  
            
        }
    

    从另一台服务器上传送文件至本地服务器代码

    /** 
         * 文件下载 
         *  
         * @param directory 另一台服务器的存储路径 
         * @param downloadFile 要下载的文件路径及文件名 
         * @param saveFile 下载下来的文件名(如下载到本地服务器需要更改文件名) 
         * @param sftp 调用上方连接另一台服务器的方法connect
         */  
        public void download(String directory, String downloadFile,  String saveFile, ChannelSftp sftp) {  
             
                sftp.cd(directory);  
                File file = new File(saveFile);  
                sftp.get(downloadFile, new FileOutputStream(file));  
             
        }  
    
    展开全文
  • 备份是容灾的基础,是指为防止系统出现操作失误或系统故障导致数据丢失,而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。而对于一些网站、系统来说,数据库就是一切,所以做好数据库的...

    一、概述:
    备份是容灾的基础,是指为防止系统出现操作失误或系统故障导致数据丢失,而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。而对于一些网站、系统来说,数据库就是一切,所以做好数据库的备份是至关重要的!
    那么Linux如何实现将Mysql数据库自动从服务器A备份到服务器B呢?
    二、通过Linux的scp命令:用于Linux之间复制文件和目录。
    1、scp在建立连接中是需要密码认证的,所以我们第一步就是在服务器A上添加ssh公匙

    ssh-keygen -t rsa
    

    2、 结果: 会在用户目录~/.ssh/产生两个文件,id_rsa,id_rsa.pub
    3、 将id_rsa.pub文件拷贝到服务器B的/root/.ssh目录下,并命名authorized_keys,即

    scp /root/.ssh/id_rsa.pub root@10.1.1.2:/root/.ssh/authorized_keys
    

    这样从服务器A复制到服务器B就不需要密码了。
    三、编写备份数据库脚本,使得每天固定时间,自动对数据库进行备份
    bakmysql.sh

    #!/bin/bash
    #备份路径
    BACKUP=/www/backup/mysql
    #当前时间
    DATETIME=$(date +%Y-%m-%d)
    echo "===备份开始==="
    echo "备份文件存放于${BACKUP}/$DATABASE-$DATETIME.sql"
    #数据库地址
    HOST=localhost
    #数据库用户名
    DB_USER=root
    #数据库密码
    DB_PW=26324636
    #创建备份目录
    #[ ! -d "${BACKUP}/$DATETIME" ] && mkdir -p "${BACKUP}/$DATETIME"
    
    #后台系统数据库
    DATABASE=db_test
    echo $DATABASE-$DATETIME
    #mysqldump -u${DB_USER} -p${DB_PW} --single-transaction --host=$HOST -q -R --databases $DATABASE | gzip > ${BACKUP}/$DATETIME/$DATABASE.sql
    mysqldump -h localhost  -u${DB_USER} -p${DB_PW}  ${DATABASE} >${BACKUP}/$DATABASE-$DATETIME.sql
    
    echo "===导出成功,开始传输==="
    #压缩成tar.gz包
    cd $BACKUP
    #tar -zcvf $DATETIME.tar.gz $DATETIME
    #备份到服务器B
    scp $DATABASE-$DATETIME.sql root@10.1.1.2:/www/backup/mysql
    #删除备份目录
    #rm -rf ${BACKUP}/$DATETIME
    
    #删除10天前备份的数据,这边可以自行更改
    #find $BACKUP -mtime +10 -name "*.sql" -exec rm -rf {} \;
    echo "===数据库备份到服务器成功==="
    

    将sh脚本文件放到服务器A任一位置,我这边放在了/www/backup下
    四、脚本编写完,利用Linux系统的crontab定时任务,去实现固定时间自动执行脚本

    crontab -e #编辑
    #输入以下代码
    59 23 * * * /www/backup/bakmysql.sh #通过vi命令编辑insert,表示每天23:59自动执行代码
    :wq! #保存退出
    service crond restart #重启服务,如果是ubuntu系统,则是cron
    

    Linux相关命令:

    crontab –e : 修改 crontab 文件. 如果文件不存在会自动创建
    crontab –l : 显示 crontab 文件
    crontab -r : 删除 crontab 文件
    crontab -ir : 删除 crontab 文件前提醒用户
    
    #在 12:01 a.m 运行,即每天凌晨过一分钟。这是一个恰当的进行备份的时间,因为此时系统负载不大。
    1 0 * * * /root/bin/backup.sh
    
    #每个工作日(Mon – Fri) 11:59 p.m 都进行备份作业。
    59 11 * * 1,2,3,4,5 /root/bin/backup.sh
    
    # 每5分钟运行一次命令
    */5 * * * * /root/bin/check-status.sh 
    
    #每个月的第一天 1:10 p.m 运行
    10 13 1 * * /root/bin/full-backup.sh 
    
    #每个工作日 11 p.m 运行。
    0 23 * * 1-5 /root/bin/incremental-backup.sh
    

    PS:务必要养成备份的好习惯啊,不然自己留下的坑,哭着也要填完。。。

    展开全文
  • 第一种:使用数据库的乐观锁实现只有一台服务器能执行成功 具体实现是在数据库建一张表: 表中的字段主要是:id(主键)、task_name(任务名称)、version(版本号)、update_time(更新时间)、IP(执行操作的服务器IP)、...
  • 通过著名的网络安全监视机构“ Heng Security Research Institute”,它似乎已经使用黑客工具暴露于后门,该黑客工具暴露了全球超过90,000计算机。基于新趋势的全球网络风险正在出现。换句话说,中小企业的网络...
  • 网络云存储技术Windows server 2012 (项目七 存储服务器重复数据删除的配置与管理) 前言 网络存储技术,是以互联网为载体实现数据的传输与存储,它采用面向网络的存储体系结构,使数据处理和数据存储分离。它...
  • 台服务器mysql数据库数据同步

    千次阅读 2018-11-28 16:59:31
    3台服务器的多主架构,3台服务器都可以写入并且做到3台服务器的数据一致性(任意一台服务器做写入操作都可以,并且每台服务器的数据做到完全一致),并且防止主键冲突.目前只有3台MySQL服务器,不使用生成唯一id的程序。 ...
  • 服务器之间如何传输数据

    千次阅读 2019-11-23 11:25:30
    有时候大家需要将一台服务器内的数据传输到另外一台设备,有很多种方法,如果两台物理机离得很近,可以通过移动硬盘传输。如果是跨地区的,有人首先通过filezilla将数据下载到windows电脑上,在通过filezilla上传到...
  • 网络存储技术Windows server 2012 (项目6 存储服务器数据备份与还原 windows Server Backup) 目录前言、项目背景二、项目实训题三、任务操作1、在SRV1创建共享目录BackupforSRV2,并授权SRV2完全访问权限;2...
  • 今天在参与测试环境的部署过程中遇到的个问题: 我们的项目要部署到测试环境需要测试环境为我们分配 redis ,mongo,mariadb 的服务器ip和端口,并告知对应的用户名和密码。 然后用jekins构建我们的项目,我需要把...
  • 1核2g1m服务器能支持多少人在线访问?

    万次阅读 多人点赞 2020-10-24 14:46:48
    1核2G内存的服务器相当于一台手机1/4的功效 三、为什么是14人? 这一点也找腾讯工程师验证了,确实是受到带宽限制的影响。 四、总结 所以说只要把带宽提上去了,还可以支持2到3倍在线人员访问。 五、福利 ...
  • mysql数据库迁移到另一台电脑上

    千次阅读 2021-01-19 18:39:55
    解决办法mysql要转换到另一台机器上面,最重要的要考虑以下几个问题1、数据库使用什么存储引擎,如果是myisam的话,可以把data目录复制移走。但如果是innodb的话,千万不要用这种方法,会存在种种问题的。至于innodb...
  • 在云服务器存储数据的10个好处

    千次阅读 2019-09-03 11:18:07
    服务器已经成为最适合在线存储数据的选项。在较早时期,大多数公司依靠内部服务器存储他们不断增长的数据和在线文件。但今天将数据存储在在线的云服务器中已经成为新的趋势,因为它允许无限存储。将所有数据存储...
  • 专业上服务器这样定义|:服务器种高性能计算机,作为网络的节点,存储、处理网络上80%的数据、信息,因而也被称为网络的灵魂。也能够这样讲,服务器个管理资源并为用户提供服务的计算机软件,通常分为文件...
  • 千亿级服务器监控数据存储实践

    千次阅读 2017-12-04 09:28:16
    近几年开源的大数据处理系统已经逐步发展到个比较成熟的阶段了,各类大数据处理的场景都有了相应的解决方案,如同 mysql 在当今互联网公司中的关系数据存储广泛应用地位一样。 公司目前有几十万量级的...
  • 我在Windows上搭建了个redis服务器,我想将数据缓存在这redis上,但是所有的 数据都会默认缓存在index为0的这个数据库当中,怎么样才能将数据存储在不同下标上 的redis数据库?
  • 服务器就是储存网站数据的地方。当访问者通过输入你的域名访问你的网站时,他们将被带到储存你的网站数据的地方,也就是服务器上。...有一台自己的云服务器可以做很多事情,比如展示个人简历,学习Linux服务器,搭
  • 前提:1、有es服务器 A、B两,A上有index1及此index下全部数据 需要复制到B上 2、由于启动es不用root用户,所以创建了esuser:esuser用户 (用户组:用户名) 步骤: 、去A找到此索引的存储位置文件夹 /...
  • Flume跨服务器采集数据

    千次阅读 2018-07-20 10:58:06
    在大数据的采集中,我们常用Flume来进行数据的采集,一般的我们会从Web Server服务器中收集数据,将数据存储在另一台服务器的hdfs文件系统做离线分析或者sink到另一台服务器的kafka消息队列中做实时流式计算。...
  • nginx最多只能维持(65535*后端服务器IP个数)条websocket的长连接,如果后端websocket服务器IP只有个,那么就只能最多支持65535条连接。瓶颈就产生在了nginx上 建议采用LVS的DR模式来做负载均衡,这样最大长连接...
  • 数据怎么选型?终于有人讲明白了

    万次阅读 多人点赞 2022-01-07 14:07:21
    数据怎么选型?终于有人讲明白了
  • 和缓存服务器集群的伸缩性设计不同,数据存储服务器集群的伸缩性对数据的持久 性和可用性提出了更高的要求。 缓存的目的是加速数据读取的速度并减轻数据存储服务器的负载压力,因此部分缓 存数据的丢失不影响业务的...
  • 之前Zabbix数据库安装在Zabbix-Server上,为了方便随后扩容,数据库单独放在另服务器172.16.1.242上。 操作 停止Zabbix-Server服务 systemctl stop zabbix-server 初始化Zabbix数据库 连接数据库 mysql -h 172....
  • 通过必要的技术,适当的规划和特定软件,您只需将所需数据传输到新服务器即可。数据迁移过程中的复杂性与项目的复杂性和规模息息相关。作为值得信赖的香港服务器租用托管服务商,稳网互联小编将向您简单展示服务器...
  • 本次数据恢复的设备是一台服务器,使用的是FreeNAS做iSCSI,再借助于两台服务器做虚拟化系统。FreeNAS层面是UFS2文件系统,整个服务器建一个文件然后挂在给ESXi5.0 系统。这个虚拟化系统中一共有5台虚拟机,其中一台...
  • 、通过NAS实现办公室文件共享当前,企事业单位局域网中,经常会有一些文件需要共享给局域网用户访问。而文件共享的实现,方面可以借助于WindowsServer文件服务器来实现;...作为种特殊的专用数据存储服务器,NA...
  • 实验目标例如:源数据 172.18.21.131中的hb_report中的表winfo;  目标数据 172.18.21.133中的hb_test中的winfo表;  以上都是2008 sqlsever。 1.在目标服务器中创建hb_test数据库以及表winfo 2.设置存储过程 ...
  • 服务器面对大量数据上传处理思想

    千次阅读 2018-08-25 20:15:44
    同样是个面试问题,面对大量设备同时传入数据如何处理,记录下来。 当大量设备连接服务器,大量数据上传到服务器服务器要如何提高处理能力,来处理这些数据数据源为设备数据服务器处理数据可以从已下几个...
  • 数据仓库应该选择哪种服务器架构

    万次阅读 多人点赞 2021-04-17 23:30:54
    众所周知,典型的数据仓库环境具有大量复杂的数据处理和综合分析,要求系统具有很高的I/O处理能力,并且存储系统需要提供足够的I/O带宽与之匹配。 而个典型的OLTP系统则以联机事务处理为主,每次交

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 610,690
精华内容 244,276
关键字:

一台服务器能存储多少数据