精华内容
下载资源
问答
  •   在线上运维的过程,遇到一个头疼的事情,有一些合作公司的数据直接从平台上down下来是一个excel,然后发到研发手里去数据库核对是否存在,怎么办呢?一般死脑筋方法就是适应sql语句select * from tb_name ...

    技术公众号:后端技术解忧铺
    关注微信公众号:CodingTechWork,一起学习进步。

    引言

      在线上运维的过程中,遇到一个头疼的事情,有一些合作公司的数据直接从平台上down下来是一个excel,然后发到研发手里去数据库中核对是否存在,怎么办呢?一般死脑筋方法就是使用sql语句select * from tb_name where colume_name="xxx";去核对是否存在该记录,完了,完全陷入到非sql不可的坑了。
      在思考如何更好的去比对两堆类型相同的数据时,除了程序员用后端的方法(不管是sql还是写脚本、程序工具类),其实还可以跳出这个思维圈,本文就总结一下如何通过我们日常用到的excel来比对两个数据表,当然我们也要解决表数据转为excel的问题。

    sql转excel

    方式

      我们先要解决一个mysql数据库中的数据如何转出到excel中的问题。
      进入到sql命令行选择数据库后,执行:select * from tbl_name into outfile '/home/outfile/test.xls';

    问题

      我们可能会遇到一个ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement的报错,这个时候可以使用show variables like '%secure%';查看:

    mysql> show variables like '%secure%';
    +--------------------------+-----------------------+
    | Variable_name            | Value                 |
    +--------------------------+-----------------------+
    | require_secure_transport | OFF                   |
    | secure_auth              | ON                    |
    | secure_file_priv         | /var/lib/mysql-files/ |
    +--------------------------+-----------------------+
    3 rows in set (0.01 sec)
    

      所以,我们可以在不修改数据库的权限情况下,选择这个默认路径进行输出:select * from tbl_name into outfile '/var/lib/mysql-files/test.xls';
      mysql数据转为excel这个问题解决后,我们就可以安心去解决excel中如何比对两个不同表格中的数据。

    表达式

      我们先来了解一下今天登场的主角:IF(COUNTIF())表达式。

    分解

    =IF(COUNTIF(Sheet1!A:A,A1),"T","F")
    
    1. IF():IF()是条件判断函数;
    2. COUNTIF():是统计函数,其中,Sheet1代表的是另一个表格的数据,A:A表示统计区域,A1表示A1单元格的内容。
    3. "T":可自定义引号内的文字,是if如果成立,则会在单元格中输出该自定义内容。
    4. "F":可自定义引号内的文字,是if如果不成立,则会在单元格中输出该自定义内容。

    操作详解

    场景说明

      假设Sheet1为参考数据,Sheet2为需要比对的数据。比对Sheet2中是否在Sheet2中有相同的数据。
    Sheet1数据
    Sheet2数据

    操作步骤

    1. 填写表达式:=IF(COUNTIF(Sheet1!A:A,A1),"T","F")并回车。
      基准表格数据是在Sheet1中,比对的范围是A:A,单元格是在A1T表示Sheet2中的这个数据在Sheet1中存在,F表示不存在。
      Sheet2中输入表达式
    2. 下拉比对
      下拉单元格进行所有数据的对比
      结果显示:
      比对结果

    注意:
    比对结果的描述信息可以自定义
    比对结果自定义

    总结

      至此,我们就学会如何通过表达式来比对完两个数据表中的数据,是不是很赞?遇到问题的时候,我们不能死教条,一个一个的通过select * from ... ...去核对,这种效率低且单调。我们要学会跳出思维圈,利用一些辅助工具去帮助自己更好的工作,更好的去解决问题。

    展开全文
  • Excel检索两个表格中相同的数据

    千次阅读 2018-08-28 09:25:55
    首先建立Sheet1和Sheet2两个表格,Sheet1和Sheet2两个各有姓名列,现在我们就来查找Sheet1的姓名是否与SHeet2的重复 2.在Sheet1表格中输入公式"=iferror(vlookup(A2,Sheet2!A:A,1,0),"F”)   ...

    具体方法如下:

    1. 首先建立Sheet1和Sheet2两个表格,Sheet1和Sheet2两个中各有姓名列,现在我们就来查找Sheet1中的姓名是否与SHeet2中的重复

    2.在Sheet1表格中输入公式"=iferror(vlookup(A2,Sheet2!A:A,1,0),"F”)

     

    3.这个时候在Sheet表格中重复的就会显示为姓名,不重复的显示”F“

     

    展开全文
  • 报表中含有多个sheet,而且几乎很多sheet表中都有相同筛选的同种数据,因此就有需要将同一文件下多sheet表中内容进行筛选然后重新保存在文件中,数据样例如下,目标是提取每个sheet下Sample Type字段下的Unknown ...

    筛选同一表格下的多个sheet里的内容并保存在对应的sheet中

    1 目标需求

    报表中含有多个sheet,而且几乎很多sheet表中都有相同要筛选的同种数据,因此就有需要将同一文件下多sheet表中内容进行筛选然后重新保存在文件中,数据样例如下,目标是提取每个sheet下Sample Type字段下的Unknown Sample对应的行数据,然后保存在该sheet下
    在这里插入图片描述
    目标结果:
    在这里插入图片描述

    2 处理步骤

    ① 读取Excel表格内容

    ② 提取Excel表格中所有的sheet名称,及其中的内容

    ③ 数据清洗

    ④ 数据分别保存在同一表格文件下对应的sheet中

    3 步骤详解

    ① ② 读取Excel表格中的内容和提取Excel表格中所有的sheet名称,及其中的内容,这里选择pandas进行处理

    sheet_name = None,要想获得所有的sheet_name,这里可以让其等于None,这样就可以得到对应的sheet名称和对应的内容

    import pandas as pd
    import os
    os.chdir(r'C:\Users\86177\Desktop')
    
    data  = pd.read_excel('AA_test.xlsx',header=None,sheet_name = None)
    data
    

    → 输出的结果为:(根据报表中的内容来看,前四行和最后的几行的数据都不是要筛选的数据,这里先把取消默认的header)
    在这里插入图片描述
    根据输出的结果可以看出data是属于OrderedDict,那么就可以获取其中的keys和values

    data.keys() #获取字典中的键,也就是sheet表的名称
    data.values() #获取键对应的值,也就是sheet表中的内容
    

    → 输出的结果为:
    在这里插入图片描述
    尝试进行数据的索引,注意这里和普通的列表不是一样的,不能直接索引,需要先进行数据类型的转换,才可以进行索引,如下

    list(data.keys())[0]  #提取第一个sheet的名称
    
    print(type(list(data.values())[0]))  #查看一下转换后的数据类型
    list(data.values())[0]  #获取第一个sheet表中的内容
    

    → 输出的结果为:
    在这里插入图片描述
    ③ 数据清洗,需要剔除掉前四行和最后面几行的数据,并将第四行作为表格的列标题,代码如下

    data_0 = list(data.values())[0]  # 以第一个sheet进行试错
    data_0 = data_0.dropna(thresh = 6)  #如果该行的有效元素没有超过6个就会被剔除
    data_0.columns = data_0.iloc[0]  #因为前几行最多的行元素有效值为6,所以就全部被剔除,自然第5行就变成第1行了,这里就直接把第一行的内容变成列标题
    data_0 = data_0[data_0['Sample Type'] == 'Unknown Sample']  #筛选目标数据
    data_0  #数据展示
    

    → 输出的结果为:(可以发现前面几行和最后几行的数据全部被剔除)
    在这里插入图片描述
    ④ 数据分别保存在同一表格文件下对应的sheet中,这里直接将对应的数据变量写入到对应的sheet表中保存即可

    writer = pd.ExcelWriter(f'{file_name}') 
    data_i.to_excel(writer,sheet_name = list(data.keys())[i], index = False)  #这里的data_i就是分别提取每个sheet内容对应的数据变量
    writer.save() 
    writer.close()
    

    3. 全部代码

    为了方便调用,这里直接封装成函数,给一个命名文件,和要筛选的字段名及内容的接口,代码如下

    import pandas as pd
    import os
    os.chdir(r'C:\Users\86177\Desktop') #这里填自己要处理文件的位置
    
    data  = pd.read_excel('AA_test.xlsx',header=None,sheet_name = None)
    
    def output_data(file_name,column,comment):
        writer = pd.ExcelWriter(f'{file_name}') 
        for i in range(len(data)):
            data_i = list(data.values())[i]
            data_i = data_i.dropna(thresh = 6)
            data_i.columns = data_i.iloc[0]
            data_i = data_i[data_i[column] == comment]
            data_i.to_excel(writer,sheet_name = list(data.keys())[i], index = False) 
        writer.save() 
        writer.close()
    
    output_data('filter_data.xlsx','Sample Type','Unknown Sample')
    

    → 输出的结果为:(比如这里选择倒数第二sheet表中的内容查看)
    在这里插入图片描述
    最后的一个Component表中是没有符合要求的数据的,因此是属于空表单,但是还是要保存在sheet的,核实结果如下,只留下了列标题名称,完成任务
    在这里插入图片描述
    至此,筛选同一表格下的多个sheet里的内容并保存在对应的sheet中全部内容梳理完毕,难点在于如何获取全部的sheet名称及内容,以及存储到同一个文件中,数据清洗较为简单,完毕。

    展开全文
  • 两个表格(不是在同一个表格中筛选的数据个数不用一样多,一个表格可能有很多数据,另一个可能很少进行数据筛选重复项。 想在表一中显示同时存在于表二中的数据 步骤: 一、先选中表二中的数据 二、...

    两个表格(不是在同一个表格中筛选)中的数据个数不用一样多,一个表格可能有很多数据,另一个可能很少进行数据筛选重复项。

     

    想在表一中显示同时存在于表二中的数据

     

    步骤:

    一、先选中表二中的数据

    二、Ctrl + F3 弹出名称管理器

    新建

     

    本例中我们设置名称为ABC

     

    再选中表一中的数据

     

     

    选择条件格式--->新建规则

     

    选择最后一个规则

    填写公式;

    设置格式;

     

     

     

     


     

    转载于:https://www.cnblogs.com/chillytao-suiyuan/p/10536123.html

    展开全文
  • 2、筛选出某一批序号在一个表格里面的位置(整批找出) 3、其实还有其他很多应用,难描述出来... ... A列有几百的名字,本人想帅选出B列的名字列表 “陈生”、“陈科华” 在A列出现过多少次, 方法:用...
  • 记录一个开发过程遇到的poi导出excel问题 一般的poi导出格式为以下这种 这种实现起来也简单, 只需要配置好格式, 写好标题, 将数据循环导出到excel就行了 , 可是下面这种就比较难搞了 由于第一列需要根据日期合并...
  • 如何在电子表格中不同的两列里筛选出重复数据? 说的详细一点啊,本人很笨的!谢谢!
  • R语言筛选V2和V3两列,元素的重复次数超过2次以上的数据,其中2和3的重复次数超过3次,需要筛选出来。筛选不同门店的数量,进行数据计数和统计。
  • python筛选excel某一列中相同的数据

    万次阅读 多人点赞 2018-11-13 11:34:57
    python筛选excel某一列中相同的数据 1.需要cmd下载 pip install pandas 的模板 2.注意文件的路径问题不要出错 3.还有文件的编码格式 ------encoding = 'gbk' import pandas as pd #读取excel文件信息 d...
  • 工作,我们常常需要和Excel打交道。为了更好的完成Excel工作,我们就有必要了解一些实用的Excel技巧了。不仅可以提高工作效率对于我们自身的知识储备量也会增加不少呢。下面为大家分享几个Excel小技巧,教大家怎样...
  • 目标:根据两个下拉框和一个输入框的内容,对BootStrap Table实现组合筛选。 思路:1.从json文件,提取表格数据(前端提取),并存储为一个数组对象;2.遍历这个数组,提取用来对比的属性的值;3.与下拉框和输入框...
  • ... window搜索-cmd(命令提示符)-perl -v-若显示软件版本与编号,则安装成功;若显示失败(没有找到),则安装失败。...运行软件,进入文件夹位置(E盘,文件提前准备好)。...得到筛选后的txt表格
  • 利用pandas批量筛选Excel表格并合并

    千次阅读 2020-03-20 18:38:18
    1、背景 ...2、筛选表格依据 如下图,第一张图为我们想要的,第二张图为我们想要过滤掉的Excel,因此我们可以通过判断单元格B2来进行筛选,筛选代码如下: 3、筛选代码 3.1 导入模块 import os im...
  • 在一个完整的数据数据渲染的 elementui 表格组件筛选输出数据 目录 布局代码 样式代码 vue代码 布局展示 功能实现 逻辑解析 布局代码 <template> <div id="app"> <el-container> ...
  • 比如有表格go_shoplist,字段为id,qishu,maxqishu 查询的记录为.qishu与maxqishu相同的行. select * from `go_shoplist` where qishu=maxqishu           下面的写法也正确,模拟联表查询其实查询的是同...
  • vue elementui 表格搜索筛选栏组件封装

    千次阅读 热门讨论 2020-01-19 15:35:54
    vue后台管理系统,会有很多表格页面,表格上方会有一些搜索选项,表格直接使用el-table即可,而搜索栏区域每次写起来都很繁琐,而且多人开发情况下每个人写的样式都不相同,布局样式无法统一。 所以要考虑对搜索栏做...
  • 首先是两张表格: 第一步!!!!将sheet和sheet1都选中A1 然后全选表一(ctrl+a)——>条件格式——>新建格式规则——>只为包含以下内容的单元格设置格式——>条件选择不等于——>格式选择红色——...
  • 1、将相同ID号,相同物料的行合并 2、将同一个ID号的所有项都相加求和 附上代码: Sub test1() Dim d1 As Object, d2 As Object, arr, i As Integer, k, brr Set d1 = CreateObject("scripting....
  • 最近在项目实现了一个Table 相同数据行合并及表格头下拉筛选的需求,这类需求平时在项目比较少遇到,操作的方法也比较麻烦,因此记录下来方便以后遇到有迹可循。 实现效果 合并相同行数据 对dataSource数据...
  • awk处理两份数据文件,将拥有相同id的数据筛选出来。 不久之前我领导部署给我一份任务,一份数据量百万级的文件和另一份数据量百万级的文件筛选拥有相同id的文件,这种数据量级别的文件靠WPS是无法完成的,电脑...
  • 重复数据标红后, 再以颜色筛选数据
  • 如何汇总100多个相同的电子表格。 相关链接在这里,里面有具体的样例数据 我给位朋友做了回答。 这个问题用SqlCel求解非常方便。我提供了两种方法。 方法一、用到数据库。用数据库最方便。 点击“导入数据”选项卡下...
  • 基于ElementUI + Vue3.0 开发的强大表头筛选器的表格,同时提供用户自定义筛选器 默认提供的筛选器: 从服务器拉取匹配项列表 单纯的文本搜索 提供单选的列表 联级选择器(可用于地区搜索) 日期筛选 范围筛选 ...
  • 1、建立一个工作表1 2、建立工作表2(注意不要...3、右键表格1 4、把代码复制进去 Sub x() Dim dict Set dict = CreateObject("Scripting.Dictionary") For i = 2 To Sheet2.UsedRange.Rows.Count dict.Add...
  • 有多个表格,要进行多个表格数据匹配,找出相同的数据进行整理,如sheet1去除sheet2中相同的数据 Sheet1  Sheet2  得到    步骤: 1.在要处理的表格(sheet1)的空白单元格D2里输入=VLOOKUP(A2,Sheet2!A:A...
  • Vue计算属性computed简介及简单用法(表格筛选) 简介 在vue一些数据经常依赖于别的数据,随之改变,且改变的逻辑也较复杂,这个时候就需要用到计算属性computed。 基本语法: ...
  • ——————————————————————————...成功的利用pandas库进行表格数据筛选后合并 import csv import os import numpy as np import pandas as pd import matplotlib import matplotlib.pyplot...
  • 在工作和学习,我们经常要和Excl打交道,对数据进行一些简单和复杂的处理,可以说Office三件套是业界公认的“神器”级别的产品,本文,我们将探讨Excl对数据进行筛选,剔除获取提取满足条件的的数据,如:1....
  • 数据源如下图: 1、建立数据透视表,把透视表格式调成我们想要的格式,代表处一栏放在筛选项中; 2、单击数据透视表,选项-选项右边的三角-显示报表筛选页-选择代表处字段,即自动生成下图; ...
  • 文章目录安装介绍功能...如同生物信息领域的FASTA/Q格式一样,CSV/TSV作为计算机、数据科学和生物信息的基本格式,应用非常广泛。常用的处理软件包括: 以微软Excel为代表的电子表格软件 Notepad++/SublimeTex...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 20,289
精华内容 8,115
关键字:

如何筛选表格中相同内容