1、首先打开如下文档,在A列删除重复日期星期一,星期二;
2、选中编号栏,A1-A10,如下图:
3、点击数据——删除重复项;如下图红色剪头所指:
4、删除后,重复项就被删除成功。
首先查询出所有重复的Id,然后循环所有ID删除重复记录。
经测试效率相当高(前提是你的索引用上了)
下面是参考代码(这个例子中是删除重复的tb_user_id只保留Id最大的一个,DDD的意思是DELETE_DUPLICATED_DATA)
注意请把马赛克的地方改成你自己的数据库名字
创建完存储过程之后调用一下即可删除重复数据:
CALL DDD_TB_USER_SUMMARY();
php去除重复数据的方法:1、使用“array_unique”方法对数组元素进行去重,并使用“array_values”函数把键值重新排序;2、使用“array_flip”方法进行去重。
php 数组元素快速去重
1.使用array_unique方法进行去重
对数组元素进行去重,我们一般会使用array_unique方法,使用这个方法可以把数组中的元素去重。<?php
$arr = array(1,1,2,3,3,3,4,4,5,6,6,7,8,8,9,9,9);
$arr = array_unique($arr);
$arr = array_values($arr);
print_r($arr);
?>
输出:Array
(
[0] => 1
[1] => 2
[2] => 3
[3] => 4
[4] => 5
[5] => 6
[6] => 7
[7] => 8
[8] => 9
)
去重后,键值会不按顺序,可以使用array_values把键值重新排序。
2.使用array_unique方法去重效率<?php
$arr = array();
// 创建100000个随机元素的数组
for($i=0; $i<100000; $i++){
$arr[] = mt_rand(1,99);
}
// 记录开始时间
$starttime = getMicrotime();
// 去重
$arr = array_unique($arr);
// 记录结束时间
$endtime = getMicrotime();
$arr = array_values($arr);
echo 'unique count:'.count($arr).'
';
echo 'run time:'.(float)(($endtime-$starttime)*1000).'ms
';
echo 'use memory:'.getUseMemory();
/**
* 获取使用内存
* @return float
*/
function getUseMemory(){
$use_memory = round(memory_get_usage(true)/1024,2).'kb';
return $use_memory;
}
/**
* 获取microtime
* @return float
*/
function getMicrotime(){
list($usec, $sec) = explode(' ', microtime());
return (float)$usec + (float)$sec;
}
?>unique count:99
run time:653.39303016663ms
use memory:5120kb
使用array_unique方法去重,运行时间需要约650ms,内存占用约5m
3.更快的数组去重方法
php有一个键值互换的方法array_flip,我们可以使用这个方法去重,因为键值互换,原来重复的值会变为相同的键。
然后再进行一次键值互换,把键和值换回来则可以完成去重。<?php
$arr = array();
// 创建100000个随机元素的数组
for($i=0; $i<100000; $i++){
$arr[] = mt_rand(1,99);
}
// 记录开始时间
$starttime = getMicrotime();
// 使用键值互换去重
$arr = array_flip($arr);
$arr = array_flip($arr);
// 记录结束时间
$endtime = getMicrotime();
$arr = array_values($arr);
echo 'unique count:'.count($arr).'
';
echo 'run time:'.(float)(($endtime-$starttime)*1000).'ms
';
echo 'use memory:'.getUseMemory();
/**
* 获取使用内存
* @return float
*/
function getUseMemory(){
$use_memory = round(memory_get_usage(true)/1024,2).'kb';
return $use_memory;
}
/**
* 获取microtime
* @return float
*/
function getMicrotime(){
list($usec, $sec) = explode(' ', microtime());
return (float)$usec + (float)$sec;
}
?>unique count:99
run time:12.840032577515ms
use memory:768kb
使用array_flip方法去重,运行时间需要约18ms,内存占用约2m
因此使用array_flip方法去重比使用array_unique方法运行时间减少98%,内存占用减少4/5;
实例需求:在如下图的数据记录表中删除重复数据行。
于是数据是无序排列的,那么对比两个数据行中的数据就比较麻烦,当然可以采用多重循环,但是效率会比较差,因此这里借助JavaScript实现数组排序,将每行中的5个数据排序,然后再进行对比。
排序代码如下:
Function JSSortNum(ByVal strNum As String)
Set objJS = CreateObject("msscriptcontrol.scriptcontrol")
objJS.Language = "javascript"
objJS.addcode "function sortarr(para){arr=para.split(',');arr.sort(function cmp(a,b){return a-b;});return arr;}"
JSSortNum = objJS.eval("sortarr('" & strNum & "')")
End Function
排序代码解释请参考: 数组排序系列(4)
示例代码如下:
Sub Demo()
Dim rngRes As Range, objDic, arr, i, j, sNum, sKey
Set objDic = CreateObject("scripting.dictionary")
arr = [a1].CurrentRegion.Value
For i = 1 To UBound(arr)
sNum = ""
For j = 1 To 5
sNum = sNum & "," & arr(i, j)
Next
sKey = JSSortNum(Mid(sNum, 2))
'Debug.Print sNum, sKey
If Not objDic.exists(sKey) Then
objDic(sKey) = i
Else
If rngRes Is Nothing Then
Set rngRes = Cells(i, "C").Resize(1, 5)
Else
Set rngRes = Union(rngRes, Cells(i, "C").Resize(1, 5))
End If
End If
Next
If Not rngRes Is Nothing Then
'rngRes.Interior.Color = vbYellow
rngRes.EntireRow.Delete
End If
End Sub
【代码解析】
第2行代码创建字典对象。
第3行代码将数据加载到数组中。
第5~21行代码序号处理数据。
第7~9行代码将一行中的5个数据组合为字符串。
第10行代码调用JSSortNum函数进行排序。
第12行代码判断排序后的字符串是否存在于字典对象中。
如果不存在,则第13行代码将字符串添加到字典对象中。
如果存在,那么当前数据行为重复数据,第15~19行代码将对应的数据行单元格区域保存在rngRes变量中。
如果rngRes变量不为空,那么第24行代码将删除一次性删除确保重复数据行。
由于循环过程需要多次调用JSSortNum函数,因此如果将其中的CreateObject代码行移到主过程中,并将JavaScript对象作为参数传递,那么将避免多次创建JavaScript对象,整个代码运行效率更高。
运行示例代码Demo,将删除黄色的重复数据行。
1、首先打开如下文档,在A列删除重复日期星期一,星期二;
2、选中编号栏,A1-A10,如下图:
3、点击数据——删除重复项;如下图红色剪头所指:
4、删除后,重复项就被删除成功。
转载于:https://www.cnblogs.com/xylw1991/p/10985549.html