今天在工作中遇到一个需求：有一个ABC三列的表，其中A列数据大量重复，且BC列不同。现在需要根据A列的数据，汇总A列去重并输出重复次数最多的100行（N行）
 
原始表类似于这样：
 
A
B
C 
FFFEFFFEFFF
71956
1
FFFF7FFF7FF
28994
2
DFF4DFF4DFF
68109
3
1FF807F8000
63125
4
3FFF7FFF7FF
27084
5
FFFFFFFFFAF
90016
6
FFBFFFBF078
98219
7
1FF03EE33FF
23629
8
CFC0F8FAFCF
72986
9
8FFFF1F1F1E
33263
10
FFFFFFFFFFF
94116
11
 
 
如果用excel，解决办法就是做一个透视表，求出A列各项目重复数据次数，然后在vlookup求出各BC列的值即可
 
但是如果元数据超过了1万行，电脑会卡死的。
 
现在通过Python即可30秒求出100万行，A列的计数项:
 
解决思路
 
1、先导入文件  
 
pd.read_csv  ，设置表头names,设置分割符号：sep,设置标题行：skiprows
 
2、求助A列数据的各项目重复次数
 
loc=da['A'].value_counts()
 
3、取出前1000行
 
loc=loc[:N].keys()#前置前N行，加上key是表示只取值，取出A列的那个数据，不加key（）就是输出A列数据+重复次数
 
4、取出数据，并根据A列去重
 
C=da.loc[da['A'].isin(loc)]#限制A列在 loc的值内

C=C.drop_duplicates(['A'])#根据A列去重
 
5、保存
 
C.to_csv("22.csv",encoding='utf-8')
 
不知道这些思路是否对你有帮助，完整代码可见：
 
http://bbs.bigdata.zhaotongzhuo.cn/?p=20

MapReduce框架处理数据的基本流程
 
 
WordCount计算
 
需求：计算每个单词出现的次数
 
原始数据
 zhangsan,lisi,wangwu
 zhaoliu,maqi
 zhangsan,zhaoliu,wangwu
 lisi,wangwu
 
期望的最终
 zhangsan 2
 lisi 2
 wangwu 3
 zhaoliu 2
 maqi 1
 
偏移量
 
每个字符移动到当前文档的最前面需要移动的字符个数。
 
hadoop数据类型
 
java : int long double float boolean string
 hadoop : IntWritable LongWritable DoubleWritable FloatWritable BooleanWritable Text
 
WordCount-Map实现
 
1、实例一个class 继承Mapper<输入的key的数据类型，输入的value的数据类型，输出的key的数据类型，输出的
 value的数据类型，>
 
2、重写map方法 map(LongWritable key, Text value, Context context)
 key: 行首字母的偏移量
 value: 一行数据
 context：上下文对象
 
3、根据业务需求进行切分，然后逐一输出
 
WordCount-Reduce实现
 
1、实例一个class 继承Reducer<输入的key的数据类型，输入的value的数据类型，输出的key的数据类型，输出的
 value的数据类型，>
 
2、重写reduce方法 reduce(Text key, Iterable values, Context context)
 key: 去重后单词
 values： 标记的1（好多个1，key出现几次就有几个1）
 context：上下文对象
 
3、遍历values 进行汇总计算
 
WordCount-Driver实现
 
1、实例一个class 继承Configured 实现Tool
 
2、重写run方法
 
3、在run方法中将自己编写的map和reduce添加到集群
 
  public class TotalSumRun extends Configured implements Tool {
    @Override
    public int run(String[] strings) throws Exception {
        //实例一个job
        Job job=Job.getInstance(new Configuration());
        //设置读取数据的class
        job.setInputFormatClass(TextInputFormat.class);
        //设置读取数据的路径
        TextInputFormat.addInputPath(job,new Path("F:\\SumData.txt"));
        //设置Map
        job.setMapperClass(TotalSumMap.class);
        //设置Map的输出类型
        job.setMapOutputKeyClass(NullWritable.class);
        job.setMapOutputValueClass(LongWritable.class);
        //设置reduce代码
        job.setReducerClass(TotalSumReduce.class);
        //设置reduce的输出类型
        job.setOutputKeyClass(NullWritable.class);
        job.setOutputValueClass(LongWritable.class);
        //设置输出的数据class
        job.setOutputFormatClass(TextOutputFormat.class);
        //获取HDFS文件
        //FileSystem fileSystem = FileSystem.get(new URI("hdfs://192.168.100.201:8020"), new Configuration());
        //获取本地文件
        LocalFileSystem local = FileSystem.getLocal(new Configuration());
        if (local.exists(new Path("F:\\ddd"))){
            local.delete(new Path("F:\\ddd"));
        }
        //设置输出的数据路径
        TextOutputFormat.setOutputPath(job,new Path("F:\\ddd"));
        //等待代码执行(返回状态码)
        return   job.waitForCompletion(true)?0:1;
    }

    public static void main(String[] args) throws Exception {
        ToolRunner.run(new TotalSumRun(),args);
    }
    }

题号: 10283
时限：1000ms
限制内存：32768KB
题目：
统计数据出现次数（count）


描述

某次科研调查时得到了n个自然数，每个数均不超过1500000000（1.5*109）。已知不相同的数不超过10000个，现在需要统计这些自然数各自出现的次数，并按照自然数从小到大的顺序输出统计结果。

40%的数据满足：1<=n<=1000
 80%的数据满足：1<=n<=50000
 100%的数据满足：1<=n<=200000，每个数均不超过1500 000 000（1.5*109）



输入格式

第一行是整数n，表示自然数的个数；
第2~n+1每行一个自然数。
输出格式

输出包含m行（m为n个自然数中不相同数的个数），按照自然数从小到大的顺序输出。每行输出两个整数，分别是自然数和该数出现的次数，其间用一个空格隔开。
输入样例

8
2
4
2
4
5
100
2
100
输出样例

2 3
4 2
5 1
100 2
 
#include<iostream>
#include<map>
using namespace std;
int main(){
    int n,num;
    cin>>n;
    map<int,int> mmp;//集合不重复 
    for(int i=0;i<n;++i)
    {
        cin>>num;
        mmp[num]++; //key=num,value=mmp[num]++
    }
    //默认增续序 
    for(map<int,int>::iterator it=mmp.begin();it!=mmp.end();++it)  
    cout<<it->first<<" "<<it->second<<endl;
    return 0;
}

在处理csv数据的过程中可能会遇到统计重复数据的情况，笔者以自己遇到的问题为例，给出一个可以解决此问题的方法。
 进行操作的csv文件中含有1700多条数据，其中局部如下图所示：
 
 目的是计算其中每条数据出现的次数，代码如下：
 
import pandas as pd


csv = pd.read_csv('../data/all_CE.csv')
counted = csv.groupby(['causes', 'effects']).size()
counted.to_csv("../data/test.csv")	#存入目的地址文件
 
首先读取csv文件，再对读取数据使用pandas中的数据内部分组函数groupby()，参数为列名或列名的组合，最后通过size()函数得到结果。如果读者有更好的方法，希望可以与笔者进行交流。