重复数据过滤神器是一款高效安全,简单使用,绿色免费的文件过滤器。在平时的工作中,经常会需要修改文本,可是有时会出现好多重复的数据,重复数据过滤神器能够帮助用户快速处理这些重复文件。
软件功能强大,支持字符串过滤,也支持对.csv文件直接过滤。假如你采集了很多邮箱、淘宝买家帐号、QQ帐号,或其它类似的帐号、ID等信息,但里面有很多重复的数据,手工去除那太慢太烦容易出错,那么你应该用淘宝神器之重复数据过滤神器来过滤重复的数据(只保留一次)。
支持多文件批量过滤删除重复数据,支持多线程过滤,以列表方式友好显示每个文件各自的过滤进度。
支持多文件合并过滤,如果你将数据保存在了多个文件中,不必合并,可以直接对这几个文件进行合并及去重复过滤,最后保存为一个无重复数据的文件。
每个文件过滤都会提供过滤报告,并统计各个数据的重复次数,你可以再次按重复次数来筛选数据(比如在提取的淘宝交易订单信息中,如果某个买家帐号出现的重复次数高于某个值,我们可以认为它可能是刷信誉的买家而非真买家从而再次去除等)。
本软件主要针对QQ号、旺旺号、邮箱、手机等任何你想去除重复的字符串数据。
导入文本
输入字符串过滤
csv文件过滤
140.5M / 09-05
76.4M / 03-25
55M / 06-05
237.9M / 04-13
900.9M / 03-02
96.2M / 07-06
311.2M / 07-06
335M / 07-06
200M / 07-06
413.8M / 07-06
484.7M / 09-27
165.4M / 09-05
353.9M / 06-05
131.8M / 04-13
195.6M / 03-03
45.6M / 09-08
665.2M / 07-06
2.84G / 07-06
93M / 07-06
338.3M / 07-06
1.38G / 07-26
488.3M / 07-16
109.8M / 06-03
142M / 01-08
1.2M / 11-23
548.8M / 04-13
1.6M / 04-13
1.48G / 03-18
646.6M / 03-03
133.7M / 03-03
110.5M / 09-05
33.4M / 09-05
325.8M / 08-12
60M / 04-29
254M / 04-25
659M / 04-23
1M / 12-26
253.4M / 12-08
253M / 12-08
1.19G / 11-16
369M / 09-22
181.5M / 09-22
201.2M / 09-05
488.3M / 07-16
248.9M / 12-08
248.9M / 12-08
100.6M / 03-06
148.9M / 03-06
1.12G / 07-06
1.25G / 07-06
126.7M / 02-04
1.76G / 09-22
1.92G / 04-17
201.5M / 04-13
7.31G / 07-01
94.3M / 07-06
2.48G / 07-06
7.63G / 07-06
1M / 07-06
778.1M / 07-06
561.8M / 07-11
72M / 07-06
548.7M / 07-06
1.00G / 07-06
9.13G / 07-06
126.2M / 07-06
72M / 07-06
105.1M / 07-06
132M / 07-06
132M / 07-06