[已解决]2000万级别的数据处理，求解决方案。

willtools

A表：2000条数据
B表：20000条数据
两个表要做类似vlookup的操作，需要返回多条记录。

目前用2个for循环来做遍历。
问题来了，数据很慢。
求方法。
TEMP.part1.rar (500 KB, 下载次数: 16)

2013-6-27 14:15 上传

点击文件名下载附件
TEMP.part2.rar (500 KB, 下载次数: 26)

2013-6-27 14:15 上传

点击文件名下载附件
TEMP.part3.rar (500 KB, 下载次数: 35)

2013-6-27 14:15 上传

点击文件名下载附件
TEMP.part4.rar (500 KB, 下载次数: 28)

2013-6-27 14:15 上传

点击文件名下载附件
TEMP.part5.rar (500 KB, 下载次数: 23)

2013-6-27 14:15 上传

点击文件名下载附件
TEMP.part6.rar (500 KB, 下载次数: 30)

2013-6-27 14:15 上传

点击文件名下载附件
TEMP.part7.rar (381.64 KB, 下载次数: 14)

2013-6-27 14:15 上传

点击文件名下载附件

1、工作薄中有2个表，每个表中A列和H列如果最后一位是X（也有可能小写x），就需要去掉。
2、1112表H列，去vlookup1104表A列。
3、有可能1104中有多个值。
4、找到的值，都插入1112表当前行下面。

最佳答案

月排行榜 / 总排行榜

大灰狼1976

2013-6-27 18:50

我为了方便多次测试，所以将生成的数据放在新建的工作表SHEET1内。
如果一定要放在1112工作表的话，我可以修改代码。
完了，我没有分卷压缩工具，这样吧，我把方法和代码告诉你，你自己试试：
1、在工作表最后新建一个空白工作表，表名无所谓，但顺序一定要正确。
   顺序：1112⇒1104⇒新建工作表
2、在1112工作表内随便哪个你感觉方便的位置新建一个CommandButton，加入以下代码
3、运行时间在我的机器上是44秒多，结果生成在新建工作表内

1. Private Sub CommandButton1_Click()
   
2. t = Timer
   
3. Dim arr, arr1, arr2, i&, j%, k&, l&
   
4. arr = [a1].CurrentRegion
   
5. arr1 = Sheets(2).[a1].CurrentRegion
   
6. ReDim arr2(1 To UBound(arr) + UBound(arr1) - 2, 1 To UBound(arr, 2) + UBound(arr1, 2) - 2)
   
7. For i = 2 To UBound(arr)
   
8.   If Right(arr(i, 1), 1) = "X" Or Right(arr(i, 1), 1) = "x" Then arr(i, 1) = Left(arr(i, 1), Len(arr(i, 1)) - 1)
   
9.   If Right(arr(i, 8), 1) = "X" Or Right(arr(i, 8), 1) = "x" Then arr(i, 8) = Left(arr(i, 8), Len(arr(i, 8)) - 1)
   
10. Next i
    
11. For i = 2 To UBound(arr1)
    
12.   If Right(arr1(i, 1), 1) = "X" Or Right(arr1(i, 1), 1) = "x" Then arr1(i, 1) = Left(arr1(i, 1), Len(arr1(i, 1)) - 1)
    
13.   If Right(arr1(i, 8), 1) = "X" Or Right(arr1(i, 8), 1) = "x" Then arr1(i, 8) = Left(arr1(i, 8), Len(arr1(i, 8)) - 1)
    
14. Next i
    
15. l = 1
    
16. For i = 2 To UBound(arr)
    
17.   For j = 1 To UBound(arr, 2)
    
18.     arr2(l, j) = arr(i, j)
    
19.   Next j
    
20.   l = l + 1
    
21.   For k = 2 To UBound(arr1)
    
22.     If arr(i, 8) = arr1(k, 1) Then
    
23.       For j = 1 To UBound(arr, 2)
    
24.         arr2(l, j) = arr1(k, j)
    
25.       Next j
    
26.       l = l + 1
    
27.     End If
    
28.   Next k
    
29. Next i
    
30. Sheets(3).[a1].Resize(UBound(arr2), UBound(arr2, 2)) = arr2
    
31. Erase arr: Erase arr1: Erase arr2
    
32. MsgBox Timer - t
    
33. End Sub

复制代码

跳转到最佳答案楼层

大灰狼1976

上附件，20000条应该慢不到哪里去。

隐身

VBA写入数组进行处理，不会慢。用字典更加快

willtools

大灰狼1976 发表于 2013-6-26 22:02
上附件，20000条应该慢不到哪里去。

附件已经上了，请查看。

willtools

隐身 发表于 2013-6-27 00:02
VBA写入数组进行处理，不会慢。用字典更加快

能不能详细讲解一下？附件我已经上了。

大灰狼1976

我怎么就不大明白“2、1112表H列，去vlookup1104表A列。”这句什么意思，我一般不用公式。
是不是说：根据1112表H列，在1104表的H列找到相同的数据，再返回对应A列的值？

willtools

大灰狼1976 发表于 2013-6-27 15:42
我怎么就不大明白“2、1112表H列，去vlookup1104表A列。”这句什么意思，我一般不用公式。
是不是说：根据 ...

比如：
1112表中H列当前的值：L9400001，去找1104表中A列中相同的。
如果找到了，把1104找到的整行，插入1112当前值下面。

next运算1112下个循环。

想了2天了，头痛。

willtools

中午吃饭一个小时，程序还没跑好。太慢了。

大灰狼1976

44.17969秒，能不能接受，可以的话我发上来

willtools

大灰狼1976 发表于 2013-6-27 17:00
44.17969秒，能不能接受，可以的话我发上来

太好了，当然能接受咯。
发给我看看吧。