精华内容
下载资源
问答
  • 2020-12-21 09:56:15

    EXCEL如何将一个表格中数据复制到另一个筛选过后的...

    工具/材料:Microsoft Office Excel2016版,Excel表格。

    1、首先选中Excel表格,双击打开。

    2、然后在该界面中,选中要复制数据的单元格。

    3、再者在该界面中,右键点击“复制”选项。

    4、然后在该界面中,选中要粘贴数据的单元格。

    5、再者在该界面中,右键点击“粘贴值到可见单元格”选项。

    6、最后在该界面中,显示一个表格中数据复制到另一个筛选过后的可见单元格里。

    在excel表格中,我筛选过了 但是复制的时候依然是...

    工具/材料:Microsoft Office Excel2016版,Excel表格。

    1、首先选中Excel表格,双击打开。

    2、然后在该界面中,选中要复制数据的单元格。

    3、再者在该界面中,右键点击“复制”选项。

    4、然后在该界面中,选中要粘贴数据的单元格。

    5、再者在该界面中,右键点击“粘贴值到可见单元格”选项。

    6、最后在该界面中,显示一个表格中数据复制到另一个筛选过后的可见单元格里。

    2010版excel怎样实现把复制的数据粘贴在经过筛选隐...

    哪个是A表?那个是B表?准确地说明那个区域(用行列号标明位置)复制到哪个区域。不交代清楚没法回答。

    一般来说,筛选后的单元格区域只能一次批量地粘贴一个单元格,不能粘贴一个区域。如果要粘贴一个区域的数据,只能粘贴公式,用公式取数。取完数后不想要公式,可以选中整个区域,用选择性粘贴-来删除公式。举个简单的例子:

    下表是人员工资表,已知you女性5人,筛选出来后对应工资用A20:A19的数据替换

    筛选后选中黄色区域按下Ctrl、G两键调出定位框,定位-可见单元格-确定,在公式编辑栏输入公式=index($A$15:$A$19,countif(B$3:B3,B3))同时按下Ctrl、回车两键填充公式。

    结果如下

    这里的关键在于用筛选条件计数COUNTIF(B$3:B3,B3)

    Excel中筛选完数据后再复制粘贴结果筛选隐藏的部分...

    数据粘贴至筛选后EXCEL 表格显示不完全的原因如下:

    数据的长度超过了表格的格子的长度,一部分隐藏掉了,拖动该列,扩大长度就可以看到了。

    数据没有复制成功,黏贴之后只显示了一部分。

    为什么数据粘贴至筛选后EXCEL 表格显示不完全?

    数据粘贴至筛选后EXCEL 表格显示不完全的原因如下:

    数据的长度超过了表格的格子的长度,一部分隐藏掉了,拖动该列,扩大长度就可以看到了。

    数据没有复制成功,黏贴之后只显示了一部分。

    更多相关内容
  • 附件1 弱覆盖栅格数据(筛选).csv
  • 全球植被覆盖率原始数据:arcgis加载可以直接转格式使用。主页有ENMTools教程-基于R语言对MaxEnt模型优化-MaxEnt调参教程
  • 然后对TCC采集的代码覆盖数据作为样本数据,进行分析:可以先确定class覆盖数据为0的文件。对这些文件应用埋点中心进行埋点统计。关于埋点中心的详细用法及介绍见淘宝百科:埋点中心。关于为什么要用埋点中心对TCC的...
  • 使用人工智能加快海底数据处理-从粗略过滤到精细智能数据筛选 Danny Websdale, Francisco J. Gutierrez 2022年3月10日 人工智能(人工智能)在20世纪50年代首次出现,当时机器在没有人类干预的情况下进行自主操作...

    使用人工智能加快海底数据处理-从粗略过滤到精细智能数据筛选

    Danny Websdale, Francisco J. Gutierrez  2022年3月10日

    人工智能(人工智能)在20世纪50年代首次出现,当时机器在没有人类干预的情况下进行自主操作并适应不断变化环境的能力还没有出现在科幻小说中。这个话题现在得到了主流的认可,部分原因是因为有足够的计算能力让人工智能为我们工作。人工智能机器和软件不再是科幻小说,其影响无处不在,包括在地球物理数据处理中。

    水声技术部门的发展使海底勘测价值链的最后一英里更接近100米冲刺。由于多波束回声测深仪、测深声纳和浅地层剖面仪获得的地球物理数据比以往任何时候都要清晰,因此如今的后处理速度要快得多。传感器、运动传感器和定位技术的改进与改进的板载处理(集成处理)相结合,大大减少了客户查看最终数据所需的时间。

    优化海上风电

    调查成本始终受到审查,但海上风电行业的大规模增长将增加优化整个价值链以提高速度和效率的压力。 新的风电容量定期上线,1 月份宣布德国已批准新的风电场达到 1.9GW,这只是一系列新项目中的最新一个。

    然而,海上风电必须保持具有竞争力的价格才能实现其作为化石燃料替代品的潜力。只要供应商能够提供所需的数据标准,能源公司、其主要承包商和运营合作伙伴将继续寻找最具竞争力的产品。

    人工智能和它的机器学习版本有可能进一步加快数据从海床或海床以下到处理它的工程师办公桌的整个旅程。缩短从委托到交付的时间可以使海洋勘测服务更加经济实惠,从而为投资于创新解决方案的公司在各自的市场中提供更具竞争力的优势。

    人工智能和地球物理数据
    在这种情况下,将人工智能和机器学习应用于地球物理数据并不总是一种选择,因为拥有海上风电客户的勘测公司必须展示一个明显明确的价值主张才能保持竞争力。幸运的是,新的人工智能技术正在通过开发渠道来简化数据处理流程,从而带来切实的成本降低机会。东英吉利大学和水下仪器制造商 GeoAcoustics 正在合作开发一种这样的技术。

    该团队专注于对 GeoSwath 4 测深声纳软件中现有的自动过滤进行人工智能升级。该项目的突出之处在于其目标是应用机器学习,使人工智能能够自动删除多余和不需要的数据。在采集过程中,该系统旨在记录真实干净的数据,无需用户干预清理过程。这使得人工智能成为可能,因为人工智能被开发用于分析判断和删除离群的数据。用户只需要注意数据质量和覆盖范围,在调查后处理过程中,重点可以完全放在使用对测深数据进行地理配准等处理上。最终,无噪音和高分辨率的水深产品将在最少人为干预的情况下产生出来,并有潜力为客户节约成本。

    加速干涉测量
    对于 GeoAcoustics,该项目是低成本 GeoSwath 测深声纳系统与更昂贵的多波束回声测深仪正面交锋的一种手段。 GeoSwath 提供超高分辨率带状水深测量,具有高达 12 倍的水深海底覆盖范围和 240° 视野。仅凭这些数据,该系统的性能甚至胜过最昂贵的浅水多波束系统。

    性能是由于使用了干涉测量法,这种方法比多波束回声测深仪沿同一测量线获得的数据要多得多。它还可以用作侧扫声纳,例如,在获取的测深数据旁边,能够获得海床上的风力涡轮机单桩和电缆底座的高度详细图像。这种性能是由于使用了干涉测量法,这种方法比多波束回声测深仪沿同一测线获得的数据要多得多。它还可以用作侧扫声纳,例如,除了获取的测深数据外,它还可以对风力涡轮机单桩和海底电缆的底部进行高度详细的成像。

    目前,采用一组手动配置的过滤器来处理GeoSwath数据。为了达到最佳效果,需要有经验的用户来优化这些参数设置,特别是在实时操作和变化的环境条件下。 AI 只需单击一个按钮即可提供自动实时过滤,无需进一步的人工干预,提供与独立的干净数据。


    人工智能处理确保在采集过程中可以实时查看与声纳相关的符合 IHO 的数据,允许进行动态线路规划,以确保收集的数据符合调查所需的 IHO 规范。传统上,这是在数据收集后在岸上进行的,如果发现原始数据不符合要求的规格,将委托进行进一步的调查。初始调查期间的人工智能处理可以减轻这种风险,从而节省时间并减少燃料消耗。当然,后者还有一个额外的优势,那就是提高调查提供商的绿色资质。


    人工智能在行动
    人工智能技术可用于测深数据的实时数据处理和后处理。从GeoSwath系统中过滤数据的传统方法是设置多个过滤器来删除不需要的点。这些滤波器包括振幅滤波器、极值滤波器、横断面滤波器和  纵断面滤波器。如果正在测量的区域相对一致,则可以应用这些设置并进行测量,但是在具有挑战性的环境中,这些设置可能需要实时优化,这需要操作员的经验。

    通过在海床周围设置过紧的过滤器(窄带),水柱中的任何异常值都会被去除,但有可能切断海床上垂直结构的顶部。如果过滤器设置得太松,垂直结构会保留,但数据会因添加更多来自水柱的异常值而受到影响。中间的图像显示了过滤器的最佳平衡,以捕捉整个沉船结构,同时消除尽可能多的水柱异常值。这是由经验丰富的操作员完成的。


    人工智能工作的目的是减少对经验丰富的操作员和他们的主观判断的需求。应用他们的决策,没有任何一个运营商会生成相同的数据产品。

    提高效率
    通过这些数据,我们可以看到 AI 处理工具集提供的结果与专家操作员在同一时间范围内所能达到的结果相当。 当然,人工智能系统表现如此出色的能力可能会被视为对那些知识、技能和经验是海洋调查行业命脉的专业人士的威胁。


    然而,人工智能数据处理不会取代海洋测量员;相反,它将帮助他们更高效地完成工作,在海上风能驱动的需求不断变化的背景下,这将有助于确保就业,并使整个水文勘测市场受益。
     

    Accelerating Subsea Data Processing using Artificial Intelligence From Broad Brush Filtering to Pinpoint Intelligent Data Selection

    By Danny Websdale, Francisco J. Gutierrez • March 10, 2022

    Artificial intelligence (AI) first came to light in the 1950s, when the ability of a machine to undertake an operation and adapt to changing conditions without human input was skirting the edges of science fiction. The mainstream recognition the topic now enjoys is due partly to having enough computing power to make AI work for us. Artificially smart machines and software are no longer science fiction, and the consequences are everywhere, including in geophysical data processing.

    Developments in the hydroacoustic technology sector have made the final mile in the subsea survey value chain closer to a 100-metre sprint. Post-processing is much faster these days, because geophysical data acquired by multibeam echosounders, bathymetric sonars and sub-bottom profilers is cleaner than it ever was. Improvements to transducers, motion sensors and positioning technology combine with improved onboard processing to significantly reduce the time it takes for clients to see the final data.

    Optimizing Offshore Wind
    Survey costs are always under scrutiny, but massive growth in the offshore wind sector will add more pressure to optimize the entire value chain for speed and efficiency. New wind capacity is coming online regularly, with January’s announcement that Germany has approved new wind farms to the measure of 1.9GW just the latest in a long line of new projects.

    Offshore wind power must remain competitively priced to realize its potential as a fossil fuel replacement however, and energy companies, their prime contractors and operational partners will continue to seek out the most competitive offering as long as the provider can deliver the standard of data required.

    AI and its machine learning counterpart have the potential to further accelerate the entire journey of data from the seabed or below it to the desks of the engineers that depend on it. Reducing the time from commission to delivery can make marine survey services more affordable, thereby providing companies that invest in innovative solutions with a more competitive edge in their respective markets.

    AI and Geophysical Data
    In this context, the application of AI and machine learning to geophysical data will not always be a choice, as survey companies with offshore wind clients must demonstrate a noticeably clear value proposition to remain competitive. Fortunately, new AI technologies are coming through the development pipeline to streamline data handling and processing, leading to tangible cost reduction opportunities. One such technology is being worked on in a partnership between the University of East Anglia and underwater instruments manufacturer GeoAcoustics.

    The team is focused on the creation of an AI-powered upgrade to existing automated filtering in the GeoSwath 4 bathymetric sonar software. The project stands out as its aim is to apply machine learning so that the AI can remove surplus and undesired data autonomously; during acquisition, the system is designed to log virtually clean data, without any user intervention in the cleaning process. This is made possible as the AI was developed to analyse and accept or reject outlying soundings. The user only needs to pay attention to data quality and coverage, and during post-survey processing the focus can be purely on georeferencing of the bathymetric data using deterministic calculations. The final, noise-free and high-resolution bathy products will be fully reproducible with minimal human intervention, with the potential for savings achieved to be passed on to the client.

    Accelerating Interferometry
    For GeoAcoustics, the project is a means for the lower-cost GeoSwath bathymetric sonar system to go head-to-head with more expensive multibeam echosounders. GeoSwath provides ultra-high-resolution swath bathymetry with up to 12 times water depth seabed coverage and a 240° field of view. On these figures alone, the system outperforms even the most expensive shallow water multibeam systems.

    The performance is due to the use of interferometry, a methodology that acquires significantly more data than a multibeam echosounder could along the same survey line. It also works as a side-scan sonar, for example enabling highly detailed images of the base of wind turbine monopiles and cables on the seabed alongside the acquired bathymetric data.

    Currently, a set of manually configured filters is employed to process GeoSwath data. To achieve the best results, an experienced user is required to optimize these parameter settings – particularly when operated in real time and in varying environmental conditions. The AI instead provides automated real-time filtering at the click of a single button, without the need for further human intervention, providing clean user-independent data.

    The AI processing ensures that sonar-dependent IHO-conformant data can be viewed in real time during acquisition, allowing for dynamic line planning to ensure the collected data meets the required IHO spec for the survey. Traditionally, this is performed onshore after data collection and further surveys would be commissioned if the original data was found to not meet the required spec. AI processing during the initial survey can mitigate this risk and in doing so save time and reduce fuel consumption. The latter of course has the extra advantage of boosting the green credentials of the survey provider.


    AI in Action
    AI techniques can be used for both real-time data processing and post-processing of bathymetric data. The traditional approach to filter data from a GeoSwath system is to set a number of filters to remove unwanted points. These consist of an amplitude filter, a limits filter, an across track filter and an along track filter. If the area being surveyed is relatively consistent then these settings can be applied and the survey undertaken, however in challenging environments these settings may need to be optimized in real time, which requires operator experience.

    By setting the filters too tight (narrow band) around the seabed, any outliers in the water column are removed but there is the potential of chopping off the top of vertical structures on the seabed. If the filters are set too loose, vertical structures are retained but the data is compromised by adding more outliers from the water column. The middle image shows the optimum balance of filters to capture the entire wreck structure while eliminating as many water column outliers as possible; this was achieved by an experienced operator.

    The aim of the AI work is to reduce the need for experienced operators and the subjective decisions that they will make. No two operators will generate identical data products based upon the decisions that they apply.

    Augmented Efficiency
    Through this data, we can see that the AI processing toolset provides comparable results to what an expert operator could achieve in the same time frame. Of course, the ability of an AI system to perform so well might be construed as a threat to those professionals whose knowledge, skills and experience are the lifeblood of the marine survey industry.

    However, AI data processing will not replace marine surveyors; instead, it will help them to do their job even more efficiently, which in the context of changing demands driven by offshore wind energy, will help to secure jobs and benefit the hydrographic survey market as a whole.

    展开全文
  • 全球旅行评估系统| 增强全球安全性的乘客数据筛选和分析系统 执照: 麻省理工学院 设定值 移至。 基本命令 设置用户 要创建普通用户帐户,只需转到“注册”并填写表格即可。 提交,您将看到“验证您的电子邮件...
  • 【pandas】--DataFrame数据筛选(二)

    千次阅读 2021-03-13 19:01:42
    dataframe的数据的选择和筛选

    一、数据选取

    按索引标签 选取(loc做法)

    按索引位置 选取(iloc做法)

    1.1选取第1行的数据(选取单行数据)

    .loc

    • df2.loc[0]
      返回的是series
    • df2.loc[[0]]
      返回的是DataFrame

    .iloc

    • df2.iloc[0]
      返回的是series
    • df2.iloc[[0]]
      返回的是DataFrame

    1.2选取第2到5行的数据(选取连续行数据)

    .loc

    • df2.loc[1:4]
      切片数据最后一个取不到,所以要加1
    • df2_name.loc["c":"i"]
      之前写的df2.loc[1:4]能返回第2行到第5行的数据,只是恰好因为索引号是默认生成的数值索引;
      本质与df2_name.loc["c":"i"]是一样的,都是代表索引标签,而不是位置

    .iloc

    df2.iloc[1:5]
    末端数值代表第几行

    1.3选取第2,4,7,10行的数据(选取特定行数据)

    .loc

    df2_name.loc[["a","h","z","d"]]#注意是双括号

    .iloc

    df2_name.iloc[[1,3,6,9]]取对应的位置

    1.4选取单列数据

    • df2["站点编号"]

    返回series数据

    • df2[["站点编号"]]

    返回dataframe数据

    • .loc

    df2.loc[:,"借车总量"]返回series数据
    df2.loc[:,["借车总量"]]返回dataframe数据
    冒号: 表示所有行

    • .iloc

    df2.iloc[:,[1]]输入位置即可

    • 点号选取法

    df2.借车总量
    返回series数据

    优点:写法比较简单快捷;
    缺点:如果列名和关键字重复了就无法提取了,因为点号调用的是对象,python无法判断出名字一样的列名和关键字

    1.5选取连续列数据

    .loc

    df2_name.loc[:,"借车总量":"站点状态"]
    连续列,需要切片

    .iloc

    df2_name.iloc[:,1:5]
    第1列到第5列

    1.6选取特定列数据

    (选取“借车总量”,“自行车存量”,“站点空桩”)

    • 方括号+列名

    df2_name[["借车总量","自行车存量","站点空桩"]]
    选取的是表格型数据,必须双括号呢

    • .loc

    df2_name.loc[:,["借车总量","自行车存量","站点空桩"]]

    • .iloc

    df2_name.iloc[:,[1,3,6]]

    1.7选取部分行部分列数据

    (选取第3行到第8行,“借车总量”到“自行车存量”数据
    .loc

    df2_name.loc["c":"s","借车总量":"自行车存量"]

    .iloc

    df2_name.iloc[2:8,1:4]

    1.8 修改某个特定的值

    
    ifo_new.loc[i,"size"]=5
    

    而不能用

    ifo_new.loc[i]["size"]=5
    

    因为.loc[i]选取是一行,返回这一行,再选择‘size’列对应的值。

    二、数据筛选

    2.1单条件不等式筛选

    选取出借车总量小于10的所有数据
    .loc[]

    df2["借车总量"]<10
    逻辑判断得到布尔值
    df2.loc[df2["借车总量"]<10]
    筛选出数据

    .query()

    df2.query("借车总量<10")
    省略df的步骤

    2.2多条件不等式筛选

    取出借车总量小于10且还车数据小于40的的所有数据,并且只要站点编号,借车总量,还车量
    .loc

    df2.loc[(df2["借车总量"]<10)&(df2["还车总量"]<40),["站点编号","借车总量","还车总量"]]
    两个条件用圆括号扩起来,中间用过且&,或|,
    可以引入变量

    .query()

    df2.query("借车总量<10&还车总量<40")[["站点编号","借车总量","还车总量"]]
    双方括号选多列
    函数中不能引入变量,例如:a=10,"借车总量<a"就会报错

    2.3等式筛选

    选取leixin1中为A的所有数据

    • .loc

    df2.loc[df2["leixing1"]=="A"]
    双等号为判断

    • .isin()

    df2["leixing1"].isin(["A"])
    是否函数 返回布尔值
    df2.loc[df2["leixing1"].isin(["A"])]

    • .query()

    df2.query("leixing1=='A'")
    里面用了外面用了双引号,里面用了单引号

    三、多重索引

    .3.1什么是多重索引

    指2层或2层以上的索引
    有时候需要通过多个维度来查看数据

    3.2利用字符串创建多重索引

    以字符串列作为索引时,要保证这列为字符串格式 .astype('str')保证

    df3[["leixing1","leixing2"]]=df3[["leixing1","leixing2"]].astype("str")

    3.3 利用.set_index() 创建具有2重索引的数据

    .set_index()

    df3_index=df3.set_index(["leixing1","leixing2"])

    ==参数介绍 ==

    • drop=

    是指该列被指定为索引后,是否删除该列,默认为True,即为删除该列.如果改成False,则多重索引也在数据集的列中也会保留
    df3_index=df3.set_index([“leixing1”,“leixing2”],drop=False)

    • append=

    指定是否保留原索引,默认为False,即不修改,如果改成True,则保留源索引
    df3_index=df3.set_index([“leixing1”,“leixing2”],append=True)

    • inplace=

    指是否在源数据的基础上修改,默认为False,即不修改,返回一个新的数据框,如果改成True,则直接在源数据上修改

    3.4 获取索引 .get_level_values()

    .get_level_values()

    df3_index.index.get_level_values(0)获取第一层索引
    df3_index.index.get_level_values(1)获取第二层索引

    3.5 交换索引 .swaplevel()

    .swaplevel()

    df3_index.swaplevel()

    四、通过多重索引来选取数据

    1. 切片前的索引排序

    先对数据源的索引进行升序排列
    .sort_index

    df3_index.sort_index(inplace=True)
    如果没有对索引进行升序排序的话,在多重索引选取数据的过程中无法通过切片选取数据 ,切片是由小到大选取的,
    例如字符串a->z,数字0->100,所以在对索引升序后,才能正确的切片选取数据

    4.2 通过多重索引选取数据

    df3_index.loc["A","p"]
    第一索引为“A”,第二索引为“p"

    4.3 通过切片进行单索引选取数据

    df3_index.loc[slice("B","D")]
    通过切片"B"到“D”选取数据根据第一索引

    4. 4 通过切片进行多重索引

    df3_index.loc[(slice("B","D"),'p'),:]
    第一索引为切片“B”到“D”,第二索引为“p",

    4.5 取某一索引列下的全部数据

    slice(None)

    df3_index.loc[(slice(None),"p"),:]
    第一索引全部选取,第二索引选取p

    4.6. !!多重索引,并选取部分列的数据

    df3_index.loc[(slice(None),["p","1"]),"站点编号":"自行车存量"]
    第一索引全部选取,第二索引选取“p"和“1”,列选取切片”站点编号“到”自行车存量“之间的列

    4.7 利用xs函数通过level指定索引,然后选取数据

    • df3_index.xs("A",level=0)
      选取第一索引列即类型为“A”的所有数值
    • df3_index.xs("p",level=1)
      选取第2索引列即类型为“p"的所有数值
    • df3_index.xs("p",level=1,drop_level=False)
      选取第2索引列即类型为“p"的所有数值 ,并且保留第2索引列
    • df3_index.xs(("A","p"),level=(0,1))
      选取第1索引列为“A",第2索引为“p"的所有数据,注意不能选多个
    • df3_index.xs(("A","p"),level=["leixing1","leixing2"])
      level也可以是索引列名

    五、 数据汇总


    8.1分组计算

    何为分组计算?

    小精灵会有多个分类,比如有火系的,草系的,那么分组计算就是值:将不同类别的小精灵归入到不同的组,例如火系的一组,这样我们就得到了很多个组,然后对这些组去实现不同的计算,例如求每一个组的攻击力的平均值,这样我们就得到了每一个组他们自身组内的攻击力均值了

    如何分组计算?

    .groupby

    分组计算流程:spilt-apply-combine

    1. spilt(拆分)

    根据键对数据进行分组,常见的键类型 有2种:

    • 根据列在分组
    • 根据索引来分组
    1. apply(应用)

    对应每个组应用函数,类型有三种

    • aggregation:聚合,对每个组计算统计值
    • transformation:转换,对每个组进行特殊计算,例如在组内标准化数据
    • filtration:过滤,对组进行条件过滤,根据条件判断得到的布尔值,丢弃掉一些组
    1. combine(合并)

    将计算好的组整合到一个数据结构中

    8.1.1如何单列分组,单列计算?
    .groupby

    df3.groupby(“leixing1”)[[“还车总量”]].mean()
    根据“leixing1"分组统计每组“还车总量”的平均值

    8.1.2如何多列分组,单列计算?
    .groupby

    df3.groupby([“leixing1”,“leixing2”])[[“还车总量”]].mean()
    根据“leixing1"和"leixing2"联合分组统计每组“还车总量”的平均值

    8.1.3如何多列分组,单列计算多个函数?
    .agg()

    gr=df3.groupby([“leixing1”,“leixing2”])
    gr[[“还车总量”]].agg([np.mean,np.median,np.sum])
    多个函数要用[]扩起来

    8.1.4如何多列分组,多列计算不同 函数?
    .agg

    gr=df3.groupby([“leixing1”,“leixing2”])
    gr.agg({“借车总量”:[np.mean,np.median],“还车总量”:np.sum})
    借用字典的方式对应

    8.1.5对组内数据进行标准化处理(转换)
    .transform

    数据标准化
    zscore=lambda x :(x-x.mean())/x.std()
    gr.transform(zscore)

    8.1.6对组进行条件过滤

    针对gr分组,希望得到平均还车辆20以上的组,其余的组过滤掉

    .filter

    attack_filter=lambda x :x[“还车总量”].mean()>20
    gr.filter(attack_filter)
    gr.filter(attack_filter).groupby([“leixing1”,“leixing2”]).mean()[[“还车总量”]]
    gr.filter(attack_filter).groupby([“leixing1”,“leixing2”])[[“还车总量”]].mean()
    验证

    8.1.7将“类型1”“类型2”作为索引,按照索引来实现分组计算(根据索引分组计算)

    未完

    9. ‘写入’‘读取’hdf文件

    9.1. 引言

    通过参考相关博客对hdf5格式简要介绍。
    hdf5在存储的是支持压缩,使用的方式是blosc,这个是速度最快的也是pandas默认支持的。 使用压缩可以提磁盘利用率,节省空间。 开启压缩也没有什么劣势,只会慢一点点。 压缩在小数据量的时候优势不明显,数据量大了才有优势。 同时发现hdf读取文件的时候只能是一次写,写的时候可以append,可以put,但是写完成了之后关闭文件,就不能再写了, 会覆盖。
    另外,为什么单独说pandas,主要因为本人目前对于h5py这个包的理解不是很深入,不知道如果使用该包存pd.DataFrame格式的文件,不像numpy格式文件可以直接存储,因此只能依赖pandas自带一些函数进行处理。

    9.2读取 函数pandas.read_hdf()

    pandas.read_hdf(path_or_buf, key=None, mode='r', errors='strict', where=None, start=None, stop=None, columns=None, iterator=False, chunksize=None, **kwargs)
    参数解析

    • path_or_bufstr: str,路径对象,pandas.HDFStore或类似文件的对象
    • key:store中的组表示。如果hdf中只有一个pandas对象,则可以省略
    • mode:{‘r’,‘r +’,‘a’},默认为’r’,打开文件时使用的模式
      具体参考链接read_hdf的解释

    9.3 写入 函数 pandas.HDFStore

    类 HDFStore()
    HDFStore(path,mode=None,complevel=None,complib=None,fletcher32=False,**kwargs)
    参数解析

    • path:str,HDF5文件的路径
    • mode:{‘a ’ ,‘w’ ,‘r’ ,‘r+’},默认‘a’
    • complevel:int,0-9,默认none,指定数据的压缩级别
    • complib:{‘zlib’, ‘lzo’, ‘bzip2’, ‘blosc’},默认’zlib’,指定要使用的压缩库
    • fletcher32:bool,默认False,如果应用压缩,请使用fletcher32校验和

    9.4 class HDFStore下的其他函数

    1. HDFStore.put(key, value, format=None, index=True, append=False, complib=None, complevel=None, min_itemsize=None, nan_rep=None, data_columns=None, encoding=None, errors='strict', track_times=True, dropna=False)将对象存储在HDFStore中。
    2. HDFStore.append(key, value, format=None, axes=None, index=True, append=True, complib=None, complevel=None, columns=None, min_itemsize=None, nan_rep=None, chunksize=None, expectedrows=None, dropna=None, data_columns=None, encoding=None, errors='strict') 添加到文件中的Table。节点必须已经存在并且是Table格式。
    3. HDFStore.get(key)检索存储在文件中的pandas对象
    4. HDFStore.select(key, where=None, start=None, stop=None, columns=None, iterator=False, chunksize=None, auto_close=False) 检索存储在文件中的pandas对象,可以选择根据where条件。
    5. HDFStore.info() print 关于store的详细信息,返回str
    6. HDFStore.keys(include='pandas') 返回与存储在HDFStore中的对象相对应的键的列表。
    7. HDFStore.groups()返回所有顶级节点的列表。返回的每个节点都不是pandas存储对象。
    8. HDFStore.walk(where='/')遍历pandas对象的pytables组层次结构。该生成器将为每个组生成组路径,子组和pandas对象名称。任何不是组的非大熊猫PyTables对象都将被忽略的,其中基团本身被列为第一(前序),然后它的每个子组(以下字母数字顺序)也被遍历,按照相同的程序。

    9.5 案例

    # 导入pandas和numpy库
    import pandas as pd
    import numpy as np
    # 生成9000000条数据
    a=np.random.standard_normal((9000000,4))
    b=pd.DataFrame(a)
    
    # 普通格式存储
    h5=pd.HDFStore('test_ordinary','w')
    h5['data']=b
    h5.close()
    # 压缩格式存储
    h55=pd.HDFStore('test_compression','w',complevel=4,comlib='blosc')
    h55['data']=b
    h55.close()
    
    # 读取数据
    data=pd.read_hdf('test_ordinary',key='data')
    

    上一篇:dataframe的基础用法(一)
    下一篇:dataframe的高级用法(三)

    展开全文
  • 原标题:"Excel表格如何去除重复数据"的相关路由器设置教程资料分享。- 来源:191路由网。我们有时候会遇到这样的一个情况,一些数据里面有一些重复的,我们想去除这些重复的数据,该如何操作呢?1、简单数据的去重...

    原标题:"Excel表格如何去除重复数据"的相关路由器设置教程资料分享。- 来源:191路由网。

    我们有时候会遇到这样的一个情况,一些数据里面有一些重复的,我们想去除这些重复的数据,该如何操作呢?

    1、简单数据的去重

    如下图,我们有一个手机号的列表,现在想去除重复的手机号(标黄的代表有重复的手机号)

    4622.html

    操作其实很简单

    ① 选中要去重的数据

    4622.html

    ③ 根据需要进行简单设置,点击确定就OK了。这里注意提醒大家:如果你选中的数据里面是包含标题的,注意勾选【数据包含标题】选项

    4622.html

    注:excel2003不适用此方法

    WPS用户参考下图操作:

    4622.html

    excel2003:

    点击【数据】菜单,选择【筛选】——【高级筛选】

    WPS用户:

    位置有点隐蔽,在这里

    4622.html

    这里跟大家介绍一个小功能,大家注意上图,默认选择的是【在原有区域显示筛选结果】,这是什么意思呢?它的意思就是直接显示结果,原来的数据就被覆盖掉了。如果想不覆盖原有的数据怎么办呢?

    ① 我们选择【将筛选结果复制到其他位置】

    ② 点击【复制到】右侧的小箭头

    4622.html

    ③ 框选一块区域,用于存放结果,注意:框选的区域,列数必须跟原有列数一致,行数要大于等于原有的行数

    ④ 点击小箭头返回,点击确定完成筛选

    4622.html

    4622.html

    或许有人要问,条件区域是干什么用的,这个也是一个很实用的功能,由于篇幅有限,小编将在后面的内容中为大家讲解

    展开全文
  • coco数据集过大,希望从里面挑选特定的类别,来构成测试集。 以下cocodeal.py文件能够保留coco中指定的类别数据,同时生成.xml文件。具体应用可以见代码注释。 #cocodeal.py #本文件处理coco数据集,删除指定类别...
  • 1、以搜索的形式进行筛选 2、标签加搜索 3、搜索加高级选项 4、tab的形式切换 5、list筛选 6、全部显示筛选 7、带标签多项筛选 结语 1、以搜索的形式进行筛选 输入框可以输入用户关心的内容,下面可以...
  • shell编程之awk(数据筛选与处理)

    千次阅读 2021-06-04 17:13:25
    shell编程之awk(数据筛选与处理)awk 命令介绍awk 语法awk 的基本应用awk 对字段(列)的提取awk 对记录(行)的提取awk 程序的优先级awk 高级应用-F命令选项awk 定义变量(-v命令)awk 定义数组awk 运算awk 比较...
  • Excel筛选后填充

    万次阅读 2019-10-31 22:24:48
    某运营:我有一个表,A列是岗位,B列是工资,我根据A列筛选了一些内容,然后想在筛选后的B列填写新的数值,但是下拉却发现会覆盖其他内容,咋搞 他的数据源可以简化成这样 他筛选专员关键字可以是这样 如果他要把专员...
  • SAS学习--导入导出文件、拼表、数据筛选Tyrant • 2019年12月07日 • sas • 765 • &nbsp0本文最后修改于 389 天前,部分内容可能已经过时!前言目前项目进行到中期,最近又学习了一些新的知识,例如sas拼表...
  • 数据准备<4>:变量筛选-理论篇

    千次阅读 2019-09-24 21:21:24
    数据预处理》中,我们提到降维主要包括两种方式:基于特征选择的降维和基于维度转换的降维,其中基于特征选择的降维通俗的讲就是特征筛选或者变量筛选,是指从多个特征(变量)中筛选出显著的特征(变量),在分类...
  • 文章目录一、处理Excel文件数据,对其筛选后数据保存到新的Excel二、校验数据及保存新的Excel文件 一、处理Excel文件数据,对其筛选后数据保存到新的Excel # -*- coding:utf-8 -*- import pandas as pd from ...
  • NGSIM数据集Python处理(跟驰车队筛选

    千次阅读 热门讨论 2021-12-22 10:56:55
    NGSIM数据集具有高精度、覆盖广等特征,大量论文使用NGSIM数据集来研究车辆的跟驰行为,如验证跟驰模型,跟驰模型参数标定等,本文使用Python代码实现对跟驰车队的筛选,未进行数据平滑处理。通过代码自定义车头间距...
  • Excel筛选之后粘贴如何跳过隐藏行?

    千次阅读 2020-12-21 09:56:18
    原标题:Excel筛选之后粘贴如何跳过隐藏行?今天学到一点Excel的小技巧,写出来和大家分享一下。Excel筛选之后要进行复制粘贴,会有什么问题?为什么需要跳过隐藏行?请看下面一个例子:假设你是一个老师,你在统计...
  • Excel筛选之后的复制粘贴小技巧

    千次阅读 2020-08-20 12:16:49
    首先,汇总这些表格肯定是要用到筛选,但是筛选完以后,再复制粘贴就会粘贴到隐藏格,就像下面这个情况一样: 需要填写的原表格。 这是要粘贴进去的筛选过后的表格。 这是直接复制粘贴以后的产生的错误。 ...
  • 实现的功能包括:python设置当前路径、使用pandas打开excel、生成数据透视表,在不覆盖原内容的基础上追加写入数据、对透视表的内容进行排序、按条件筛选、求和、计数。##python使用好了,可以帮助减轻很多重复性的...
  • Python读取多个文件夹下的csv文件并进行数据筛选 最近做毕业设计,要处理武汉市多日的出租车GPS轨迹数据,正在学习Python进行数据分析与挖掘,欢迎学习交流~ # 导入需要用的包 import pandas as pd import numpy as ...
  • 插入数据主键重复或数据已经存在,则更新这条数据了这个可以使用ON DUPLICATE KEY UPDATE了,下面我们来看一下如何实现我们需要的要求。在做数据库开发的时候,经常会遇到这样的一种情景:当一条数据不存在的时候,...
  • 使用MODIS数据筛选火点

    千次阅读 2020-03-11 00:07:18
    1.在USGS上下载数据后,使用ENVI打开,选择HDF格式的1km的辐射率和250、500m的反射率数据集 2.几何校正后将数据集定标转为反射率和辐亮度(MTCK工具可以直接转换,但是数据结果貌似被高值抑制) 3.辐亮度转换为亮温 ...
  • {"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,...社区覆盖了云计算、大数据、人工智能、IoT、云原生、数据库、微服务、安全、开发与运维9大技术领域。","link1":...
  • excel 中粘贴时怎么不覆盖

    千次阅读 2022-01-05 18:48:25
    不使用直接粘贴功能,选择插入复制的单元格即可,具体步骤如下: 1、如下图所示,这是原始表格的数据,需要在已有的数据中添加...4、命令执行完成就可以看到新的数据已经粘贴在原始数据的上方,如下图所示: ...
  • 操作表格数据后,点击返回后仍然保留原来的查询条件 页面中有搜索框、表格、分页 3 个组件 表格每条数据有操作列,例如:点击 详情,就会跳转到另一个页面 表格数据筛选条件为:搜索值 + 当前页码 + 每页几条数据 ...
  • 数据清洗

    千次阅读 2020-08-18 16:32:04
    选题-文献学习-理论构造-数据管理-数据分析-论文写作-投稿发表 什么是数据管理 我该用什么数据 我从哪些找数据 我怎么去熟悉数据 我如何清洗数据 我怎样发掘数据的根本规律 第二讲 数据管理前的必备工作 所需数据的...
  • 在3天前自己带的同事上线一个旧业务的修改,到开户预提交订购多个资费包时,出问题了,当用户订购多个资费id时,最后一个资费id总会把前一个覆盖,最终得到入库的资费id永远只有一个;然后这个问题已存在3天时间,到数据库...
  • 同sheet覆盖追加数据 2.1按sheet读取数据 import xlrd sale=xlrd.open_workbook(r'C:\Users\admin\Desktop\result2.xlsx') names = sale.sheet_names() name_l = len(names) print(name_l) for i in range(name_l): ...
  • Excel 筛选A列和B列共有的数据

    千次阅读 2015-06-22 13:47:12
    操作手册 说明: A列代表 4月份 B列代表为5月份     1.列出5月份出现在4月份的数据  =IF(COUNTIF(A:A,B1),... 其实这里筛选出来的就是B列(5月份)  在 A列(4月份)  出现的数据。     2. 列出4月份单独的数

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 63,456
精华内容 25,382
关键字:

如何覆盖筛选后的数据