[已解决]百万行的数据，如何能够快速标记某列中单元格的重复数？？？求大神指教！！！

上清宫主

数据填到1045000行，读、写都只一列，才3秒多，还是不慢的嘛

bai7190

感谢各路大神的支持！

today0427

上清宫主 发表于 2016-11-24 13:45
数据填到1045000行，读、写都只一列，才3秒多，还是不慢的嘛

老师的意思是开两个数组，一个负责读入字典，一个负责从字典中取值吗？

香川群子

看了一下，都是身份证号码的统计。

如果事先排序一下，统计重复就很容易了吧。

如果不允许排序，那么应该用字典。

但是字典这个东西，key越多速度就越慢……超过5万时对速度的影响就很明显。
所以，如果原始数据几十万乃至上百万的话，需要用分级字典。

不知道楼主真实情况如何？

PS
类似这种大数据，如果用数据库系统的话，就太简单了！

望帝春心

香川群子 发表于 2016-11-25 08:03
看了一下，都是身份证号码的统计。

如果事先排序一下，统计重复就很容易了吧。

香川老师早上好，请问分级字典是什么概念，大致如何使用呢？谢谢

fgt258

香川群子 发表于 2016-11-25 08:03
看了一下，都是身份证号码的统计。

如果事先排序一下，统计重复就很容易了吧。

公式和简单逻辑都还不会，又用上数据库了，。在太仙眼里一切问题都是扯蛋

fgt258

today0427 发表于 2016-11-25 08:02
老师的意思是开两个数组，一个负责读入字典，一个负责从字典中取值吗？

觉得你那个数组好理解些，

香川群子

望帝春心 发表于 2016-11-25 08:12
香川老师早上好，请问分级字典是什么概念，大致如何使用呢？谢谢

也就是分级字典嵌套的意思。

身份证号码有18位，前6位是省市区代码，接着是出生年月日8位，最后4位为防止重复的分配码3位+校验码1位。

那么，显然可以把前6位分别设置为不同的第1级字典，前6位相同的再根据后面12位存入第2级的嵌套字典作为区分是否重复。
这样一来，就不是一个字典存入几十万个身份证号码，而是分成几个大字典嵌套了。

……如果需要处理的人基本上来自同一个市，那么可能每个区仍然有几十万人，
这样的话，可以用最后的4位作为第1级字典，把前14位存入第2级嵌套字典即可。

需要写出代码举例吗？

望帝春心

香川群子 发表于 2016-11-25 13:00
也就是分级字典嵌套的意思。

身份证号码有18位，前6位是省市区代码，接着是出生年月日8位，最后4位为 ...

谢谢香川老师！如果方便还请给段示例代码，再次感谢

上清宫主

就如同存放地址的分为省市区街之类的，数据库思想

就楼主这问题，这么来整，怎么说呢，只能说是各人喜欢吧