精华内容
下载资源
问答
  •  在土地利用现状调查与土地利用动态监测中,主要运用GIS、遥感及现代科学技术掌握土地的利用情况,特别是城镇建设用地和耕地的利用情况。本方案主要充分利用“3S”技术以及地面调查和计算机网络通讯等技术手段,...

      1.引言

      在土地利用现状调查与土地利用动态监测中,主要运用GIS、遥感及现代科学技术掌握土地的利用情况,特别是城镇建设用地和耕地的利用情况。本方案主要充分利用“3S”技术以及地面调查和计算机网络通讯等技术手段,建立全国土地利用动态遥感监测体系,实现对重点地区、特定目标土地利用状况的快速监测,为国土综合管理、执法检查、土地利用总体规划执行情况、农田保护情况、土地综合整治情况等提供服务。在土地利用现状与动态监测中,主要的工作是通过对监测区的遥感影像及其他土地利用相关数据进行处理,利用人机交互式解译的方式获取土地利用现状及动态变化信息。

      2.土地利用现状遥感监测

      按照不同的应用需求,制作不同比例尺的土地利用数据(通常为 1:10万、1:5万、1:1万等)。本方案在实现土地利用遥感监测的基础上,制定了较为合理的技术路线(图 1)。


    图 1 土地利用遥感监测技术流程图

      2.1 数据处理

      对遥感影像数据按照不同需求进行地形图纠正与配准,使同一区域、不同类型卫星数据地理坐标以及象元空间分辨率匹配。同时,对影像进行融合镶嵌处理,满足应用需求。

      2.2 人机交互式解译

      在影像处理后的基础上通过人机交互式解译方式判读提取土地利用信息。

      2.3 野外核查与成果汇总

      通过实际外业核查对土地利用解译信息进行确认与订正,根据影像判读与野外调查获取结果,进而统计土地利用图斑的类型、位置、范围和面积等信息,并制作图件。

      3.土地利用变化信息提取

      土地利用变化信息即土地使用过程中地表自然属性发生变化所表现出来的信息,主要包括农业用地转变为建设用地、城市扩展占用耕地与非耕地等类别。

      在构建需求比例尺土地利用/土地覆盖专题数据库的过程中,构建GIS平台人机交互直接判读(下称人工解译)为核心的中国土地利用遥感制图技术方案,同时采用基于遥感监测的土地利用/土地覆盖(《全国土地分类》(2002 年标准))分类系统,形成一致的判读标准,从而保证遥感人工解译的精度。在获取土地利用现状数据的基础上,通过两期遥感影像的直接对比分析,采用土地利用变化分类判(即直接解译动态斑块)和“图斑分割”的方式对土地利用动态信息进行提取(主要是利用差值、变换和融合等图像处理技术,使发生变化的部分从背景影像中显现出来),进一步形成土地利用动态变化图斑,并加以定性与集成。下图以2005年和2010年为例,提取土地利用动态信息。


    图 2 土地利用动态信息提取流程图

      4.主要成果

      4.1 遥感影像成果

      以GIS为操作平台,利用不同比例尺地形图,对需求区域的不同遥感数据源采取影像处理。处理过程主要包括辐射校正、几何纠正、融合、镶嵌等。


    图 3 同一区域不同数据源影像成果图

      4.2 土地利用图件成果

      利用人机交互式解译与实地野外调查相结合的方式获取土地利用现状数据与动态图斑。


      图 4 2010 年不同比例尺土地利用现状图

      4.3 数据统计成果

      汇总行政区划土地利用类型面积。

    展开全文
  • 机缘巧合, 有幸在科大校园听了京东集团副总裁、京东商城总架构师刘海峰校友作的关于大...对于如何解决硬件服务器资源的不足的问题上, 让我印象深刻和触发我思考应该就是三个关键字:超卖、混搭和智能。超卖,混搭。

            机缘巧合, 有幸在科大校园听了京东集团副总裁、京东商城总架构师刘海峰校友作的关于大规模分布式系统在京东的状况和解决方案。他从数据中心操作系统、中间件系统、数据库,存储与计算系统、图片系统与智能应用、商城整体架构升级五个方面,系统层次的介绍了京东的硬件的架构与管理。对于如何解决硬件服务器资源的不足的问题上, 让我印象深刻和触发我思考应该就是三个关键字:超卖、混搭和智能。

            京东基于以上的思想以及一系列的平台方案,轻松、成功地应对了2017的618大促活动, 在2017年,资源的部分给整个公司节省了2亿人民币的成本,以收入减成本的公司来运算,这2亿就是增加的净利润了。接下来,京东还会从广度和深度继续进行改进, 甚至包含对服务器的用电节约的优化, 他们的目标是每年节省10亿人民币的成本。

            其实京东在服务器资源的这三方面思想听起来都很容易理解,但是每一项在真正的实际运用中包含着巨大的工作量和较高的难度。超卖要解决操作系统资源显示的伪装,混搭要解决资源的动态分配等,而智能需要面对的问题就更复杂了, 大数据的收集、读取以及相关AI算法的选择和模型的搭建。

            联合自己所在公司的状况, 可能也是绝大多数互联网企业的状况。服务器、空间、CPU、Memory这些资源作为服务运行的平台,各个服务的维护者希望是越大越好,多多益善。无间断提供服务已是一个最基本的目标,而系统的使用总是有峰有谷的,基于此每个维护者都是按照峰值来进行服务器资源配置的申请,而且在这个峰值的基础上在预留buffer,甚至double一下。有的服务甚至不去考虑资源的使用状况, 直接顶配申请。好像服务器配置不够规则,相关的服务的档次就不高, 没有技术含量。而实际使用中, 往往是很多资源都处于闲置和浪费。没有人来监控、也没有人来优化。服务器资源的成本增长远远大于公司的业务增长。

             如果将服务器本身的性能升级作为技术的话, 这里讨论的其实都是管理问题。如何合理有效的管理和分配服务器资源?

            超卖通俗的解释就是你问我申请多少资源, 我给你多少资源, 但实际上这些资源是打过折的, 只不过申请人感觉不出来。举例来说, 有一个部门因为某个项目或是服务的需求申请一个8核 CPU、4G内存 、 100G硬盘的资源,好, 那我给你,而且你看到的配置似乎也是这样的, 但是实际上或许配置都折半。这里,你可能有疑问,我自己使用命令行或是资源管理器看一下不就知道了吗? 这里就需要对操作系统做一些改动,最好可以是基于linux定制自己的操作系统。

            混搭就是让服务的运行时段错开, 对于京东来说, 有很多在线的商品售卖服务,这个不用多介绍了,就是访问京东的网站;也有很多是后台的一些运算服务, 比如一些数据的统计和运算。这两个服务的运行时间可以错开来。比如白天把更多资源给在线服务, 晚上则调配更多的资源给后台运算。

            智能则是使用大数据和AI相关的技术,达到对资源更合理的分配。AI包含的内容就太多了, 留待以后再来讨论吧 。


    展开全文
  • 如果网络请求包非常大,很可能单个CPU就处理不过来,因此,需要激活多核或者超线程,把网卡中断请求分发到多个CPU去执行,从而提高整体服务器的接入性能,也是提高CPU资源利用率的好办法。下面分别进行讨论: 一,...

             基本思路是如何让CPU的超线程或者多核更加均衡和高效的利用起来,我们知道总是有一块cpu去专门响应网卡的中断请求,如果网络请求包非常大,很可能单个CPU就处理不过来,因此,需要激活多核或者超线程,把网卡中断请求分发到多个CPU去执行,从而提高整体服务器的接入性能,也是提高CPU资源利用率的好办法。下面分别进行讨论:

    一,  双CPU超线程的服务器

            我们知道,在linux下,对于双CPU超线程的服务器而已,如果内核激活了CPU的超线程功能(HT),  则通过cat /proc/cpuinfo 可以识别到4块CPU: CPU0-3,其中CPU0和CPU1是同一真实CPU的本身和它的超线程出的CPU,CPU2和CPU3也是同理一对。

    我们可以配置网卡的irq路由,来选择指定的一块CPU来处理对应网卡中断请求,从而使得多块网卡的中断处理分别分摊到2块真实的CPU上,达到充分发挥双CPU的性能。

    1,  首先我们可以通过访问/proc/cpuinfo的信息查看到cpu的具体信息。

    cat /proc/cpuinfo

     

    cat /proc/cpuinfo | grep processor

     

    cat /proc/cpuinfo | grep processor| wc –l

    最后的命令可以得到当前cpu的个数。

     

    2,  分别获取eth0和eth1网卡的中断irq号,并且赋值给shell变量

    ETH0_IRQ_NUM  =`cat  /proc/interrupts | grep  eth0 | awk -F ':'  '{print $1}'`

    ETH1_IRQ_NUM  =`cat  /proc/interrupts | grep  eth1 | awk -F ':'  '{print $1}'`

     

    3,  指定CPU来处理对应网卡的中断请求

    首先可以查看一下现有的cpu情况(需要root用户):

    cat  /proc/irq/$ETH0_IRQ_NUM/smp_affinity

    cat  /proc/irq/$ETH1_IRQ_NUM/smp_affinity

     

    echo 8 > /proc/irq/$ETH0_IRQ_NUM/smp_affinity

    (指定CPU3来处理网卡eth0的中断请求)

     

    echo 2 >/proc/irq/$ETH1_IRQ_NUM/smp_affinity

     (指定CPU1来处理网卡eth1的中断请求)

     

    4,  查看切换后的效果

    watch  cat  /proc/interrupts

           可以看到每隔2s的时间间隔的中断处理效果

     

    二,  双CPU双核的服务器

             在linux下,对双CPU双核的服务器来说,若内核没有开启超线程HT选项,则访问cat /proc/cpuinfo可以识别到4块CPU,分别是CPU0-3,其中CPU0和CPU1是同一真实CPU的两个核,同理,CPU2和CPU3是另外一个真实CPU的两个核。并且对同属于真实一个CPU的核共享4M的二级cache,因此,如果我们将一块网卡的中断请求对应到同一真实CPU的2个核上,可以在保证二级cache命中率的前提下,充分发挥双核心CPU的性能优势,从而提高整体服务器的性能。

    具体的设置方法,如上说明。

     

    三,  附加说明

            注意:对smp_affinity,一个字节(8个bit)本质上对应二进制位:xxxxxxxx,分别表示cpu7,cpu6,cpu5,cpu4,cpu3,cpu2,cpu1,cpu0,对应的位为1, 表示对应的cpu选中状态。

    1,  echo 8 > /proc/irq/$ETH0_NU/smp_affinity,由于8 = 1000,所以是指定cpu3来响应。

    2,  echo 2 > /proc/irq/$ETH1_NU/smp_affinity,由于2 = 0010,所以是指定cpu1来响应。

    3,  echo c > /proc/irq/$ETH0_NU/smp_affinity,由于c = 1100,所以是指定cpu2和cpu3来响应。

    4,  echo 3 > /proc/irq/$ETH1_NU/smp_affinity,由于3 = 0011,所以是指定cpu0和cpu1来响应。

     

    展开全文
  • 利用taskset有效控制cpu资源

    千次阅读 2011-10-20 16:38:08
    常常感觉系统资源不够用,一台机子上跑了不下3个比较重要的服务,但是每天我们还要在上面进行个备份压缩等处理,网络长时间传输,这在就很影响本就不够用的系统资源; 这个时候我们就可以把一些不太重要的比如copy/...
    
    

    转载:http://hiadmin.com/?p=1452
    常常感觉系统资源不够用,一台机子上跑了不下3个比较重要的服务,但是每天我们还要在上面进行个备份压缩等处理,网络长时间传输,这在就很影响本就不够用的系统资源;

    这个时候我们就可以把一些不太重要的比如copy/备份/同步等工作限定在一颗cpu上,或者是多核的cpu的一颗核心上进行处理,虽然这不一定是最有效的方法,但可以最大程度上利用了有效资源,降低那些不太重要的进程占用cpu资源;

    查看系统下cpu信息:

    #cat /proc/cpuinfo

    taskset就可以帮我们完成这项工作,而且操作非常简单;

    该工具系统默认安装,rpm包名util-linux

    #taskset --help
    taskset (util-linux 2.13-pre7)
    usage: taskset [options] [mask | cpu-list] [pid | cmd [args...]]
    set or get the affinity of a process

    -p, –pid operate on existing given pid
    -c, –cpu-list display and specify cpus in list format
    -h, –help display this help
    -v, –version output version information

    举例:
    1、开启一个只用0标记的cpu核心的新进程(job.sh是你的工作脚本)

    #taskset -c 0 sh job.sh

    2、查找现有的进程号,调整该进程cpu核心使用情况(23328举例用的进程号)

    #taskset -pc 0 23328
    pid 23328's current affinity list: 0-3  #0-3表示使用所有4核进行处理
    pid 23328's new affinity list: 0 #调整后改为仅适用0标记单核处理

    3、可在top中进行负载check

    最后你可以在你的工作脚本中加入该指令来合理利用现有的cpu资源;

    展开全文
  • 如何利用利用资源来实现自学?(最终版)

    千次阅读 热门讨论 2009-06-12 16:29:00
    对于这个资源利用情况,很大程度上能凸显一个人的未来潜力!这个是我问了很多人,也思考了很久后得出的结论! 大学时代能融合同学资源的人,那么将来就很容易有自己的事业! 所以,没事就和同学一起探讨话题...
  • 关于如何查找和利用PCL库学习资源的一些心得

    万次阅读 多人点赞 2018-02-08 11:43:28
    前言学习PCL库的两个月左右时间里,从刚开始的无从下手到慢慢地摸清一些门道,走了很多弯路,也遇到过很多困惑,逐渐有了一些如何查找与利用PCL库学习资源的心得。所以把这些心得记录下来,一是为了给自己以后学习...
  • 云计算如何更好的提高资源利用

    千次阅读 2012-09-08 12:38:08
    云计算如何更好的提高资源利用率 发表于09-05 09:01| 782次阅读| 来源CSDN| 3 条评论| 作者吴之晶 公有云私有云OpenStackAWSVMware 摘要:公有云、私有云有何特点,企业又该如何选择?Intel行业...
  • Android Studio利用Gradle删除没有使用到的资源和代码文件 一、打包时忽略无用资源  我们在打包的时候默认会把没有用到的资源(比如图片)也打包成app,徒增了应用的大小。现在我们可以利用Gradle来优雅...
  • 是否能把计算任务与在线服务进行混合部署,在现有弹性资源基础上提升集群资源利用率,降低双11资源新增成本? 今天,阿里测试开发专家何颖,将为你深入介绍阿里容器调度系统Sigma仿真平台Cerebro。 Sigma 是阿里...
  • 1.对土地缺乏严格管理,土地浪费严重 尽管有了土地管理法,但由于执法力量不足,特别是一些地方从局部眼前利益出发开发利用土地,致使滥占滥用土地现象严重。许多基建项目用地不报请批准或先用后报,宽打宽用,少征...
  • Spark性能调优之合理设置并行度

    千次阅读 2017-12-18 16:09:21
    1.Spark的并行度指的是什么?  spark作业中,各个stage的task的数量,也就代表了spark作业在各个阶段stage的并行度!  当分配完所能分配的最大资源了,然后对应...合理设置并行度,可以充分利用集群资源,减少每个
  • 我以前写过一篇文章,关于.Net资源释放问题,也就是对于非内存的资源,最好使用IDisposable接口提供的Dispose来释放,详情参看这篇文章。http://blog.csdn.net/knight94/archive/2006/08/05/1023352.aspx 很明显,...
  • 在大数据时代,为了合理分配大规模集群的资源,满足日益增多的服务和任务的资源需求,出现了诸如Borg,...虽然架构不同,但是它们的设计目标(简单合理利用集群资源)和主要职责(为任务分配主机资源)都是一样的。
  • 合理的使用缓存可以极大地提高网站资源利用率,还可以节约带宽从而降低服务器成本。但是很多站点针对缓存的策略并不合理,甚至是完全无作为,如果是这样,就完全没有发挥出缓存的优势,而不合理的策略反而很大程度...
  • 软件开发项目管理经验总结

    万次阅读 多人点赞 2019-04-16 17:26:46
    这是我从事软件外包工作以来的项目管理经验的总结,编写文章的目的是为了回顾和...合理利用公司资源组织设计、开发、测试等各种资源完成项目的高质量交付,并保证项目的盈利。 这是衡量一个项目失败或者成功的唯...
  • Unity资源管理(二)-Resources文件夹

    万次阅读 2018-06-01 19:45:55
    Unity资源管理(二)-Resources文件夹 参考文献:https://unity3d.com/cn/learn/tutorials/topics/best-practices/resources-folder 本篇文章讨论了Unity中的 Resources 系统。通过Resources系统,开发者可以...
  • 资源分配与调度

    千次阅读 2019-12-31 19:07:29
    1、保证资源的高利用率; 2、在“合理”时间内使所有顾客有获得所需资源的机会; 3、对不可共享的资源实施互斥使用; 4、防止由资源分配不当而引起的死锁。 对资源的管理应包括以下几个方面: 1、资源管理的描述--...
  • 大数据资源调度框架有什么作用?

    千次阅读 2021-04-22 00:36:41
    任务分配调度时结合资源分配,各个任务分配合理资源,充分利用系统资源,减少资源利用不充分的问题。 资源调度结合优先级,优先级高的可以分配更多的资源。 2.提高全系统的资源利用率 各个子系统存在不同时期对...
  • 资源编目与规范

    千次阅读 2010-11-10 08:52:00
    <br /> 浅析利用MARC格式进行网络资源编目 <br />[摘要]探析了网络环境下MARC格式的结构、特点和编目的优势及实际应用。 [关键词]MARC格式元数据网络资源编目 [分类号]G254.36 随着...
  • Spark最佳实践之如何有效分配资源

    万次阅读 2020-03-28 22:39:20
    本文主要探讨如何在AWS EMR下为Spark有效分配资源,从而充分利用一个集群的所有可用资源
  • Java多线程如何实现资源共享

    千次阅读 2015-04-11 22:21:04
    Java实现多线程方式有两种:继承Thread类或者实现...实现Runnable接口可以实现资源共享 下面让我们来看一下代码:public class Thread1 extends Thread{ private int num = 5; @Override public void run() { for
  • 如何合理确定线程池的大小

    千次阅读 2018-05-07 22:10:21
    在开发过程中,合理的使用线程池能够带来3个好处 首先是降低资源消耗。通过重复利用已创建的线程降低创建线程和销毁线程所带来的开销。 提高相应速度。当任务到达时,任务可以不需要等待线程创建就立即执行。 提高...
  • 操作系统的资源管理

    千次阅读 2018-08-02 22:11:34
    首先,物理资源有限而竞争使用资源的应用程序众多,必须合理地解决物理资源数量不足、合理分配资源等问题; 其次,物理资源的硬件实现非常复杂,用户几乎不可能直接使用,只能借助系统来实现资源的易用性; 所以,...
  • Oracle资源管理器在HIS系统中的应用

    千次阅读 2014-03-20 17:02:15
    导致整个HIS系统的操作变慢甚至影响正常业务使用的情况,其实这是典型的服务器资源争用和等待的案例,如何合理的分配和管理有限的服务器资源,让更重要的业务更充分的利用资源,这是本文Oracle资源管理所实现的功能...
  • Kubernetes资源分配(limit/request)

    千次阅读 2018-12-17 21:01:00
    kubernetes 是一个集群管理平台, kubernetes需要统计整体平台的资源使用情况, 合理的将资源分配给容器使用, 并保证容器生命周期内有足够的资源来保证其运行. 同时, 如果资源发放是独占的, 对于空闲的容器来说占用这...
  • Spark性能优化:资源调优篇

    万次阅读 多人点赞 2016-06-11 18:04:44
    在开发完Spark作业之后,就该为作业配置合适的资源...资源参数设置的不合理,可能会导致没有充分利用集群资源,作业运行会极其缓慢;或者设置的资源过大,队列没有足够的资源来提供,进而导致各种异常。总之,无论是哪
  • 任务分配调度时结合资源分配,各个任务分配合理资源,充分利用系统资源,减少资源利用不充分的问题。 资源调度结合优先级,优先级高的分配更多的资源。 1.2 提高全系统的资源利用率 各个子系统,存在不同...
  • 资源概论

    千次阅读 2008-03-26 10:16:00
    第二章 资源概论第一节 资源的概念资源概念是随着人们对资源的认识和利用程度而不断变化的。因此说:资源是一种动态概念。参考专著: 《自然资源学》,陈永文 主编,华东师范大学出版社 《环境与自然资源经济学...
  • 如何合理设置线程池大小

    万次阅读 多人点赞 2017-04-05 16:49:12
    接着上一篇探讨线程池留下的尾巴,如何合理的设置线程池大小。...任务的依赖性:是否依赖其他系统资源,如数据库连接等。 性质不同的任务可以交给不同规模的线程池执行。对于不同性质的任务来说,CPU密集型任务应配置尽

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 232,771
精华内容 93,108
关键字:

如何合理利用公司资源