拆分大数据量csv文件

liyancity

我想要把一个大数据量的csv文件拆分成若干的小的csv文件.
例如:
a.csv   520万行数据.

我想把[a.csv]这个csv文件拆分成6个小的csv文件,前5个都是100万行数据,最后一个20万行数据.

用vba程序做,有什么好的方法么?

要求速度,不能太慢~~~

各位大侠有知道的么?帮帮忙!!谢谢大家了!!提前祝愿大家春节快乐!!呵呵

490540970

最快就是用数组的方法，一切数据处理在内存中进行。

liyancity

数组的方法是不是太慢了~~譬如说csv文件有20列~~就会存储500万*20个数据~~csv能不能成块的复制内容然后粘贴过去呢？有没有这样的方法？？大侠们，有谁明白这个地方~~指导一下啊！！！

那么的帅

liyancity 发表于 2013-2-7 16:19
数组的方法是不是太慢了~~譬如说csv文件有20列~~就会存储500万*20个数据~~csv能不能成块的复制内容然后粘贴 ...

数组的方法是最快的，复制粘贴要慢的很多。

liyancity

那么的帅~~谢谢你的提醒~~能麻烦提示一下怎么做么？给一段source,我是新手~~怎么打开csv文件都不清楚~~谢谢了！！！

liyancity

那么的帅 发表于 2013-2-7 16:21
数组的方法是最快的，复制粘贴要慢的很多。

那么的帅~~谢谢你的提醒~~能麻烦提示一下怎么做么？给一段source,我是新手~~怎么打开csv文件都不清楚~~谢谢了！！！

上清宫主

520万行数据？？真会想！
excel2010一张表最多有多少行？
变通一下吧，别想excel

试试这个看成不 csv文件拆分工具.rar (529.85 KB, 下载次数: 541)

2013-2-7 18:39 上传

点击文件名下载附件

liyancity

上清宫主 发表于 2013-2-7 18:04
520万行数据？？真会想！
excel2010一张表最多有多少行？
变通一下吧，别想excel

谢谢~~，我不是找工具，我是要用vba程序来实现这个功能。
一个excel2007好像最多有100多万行，不到120万行，所以才要把csv文件拆分成5个100万行的csv文件，然后再导入到excel模板里面。有谁知道有什么好方法来拆分csv文件阿~~谢谢了！！！

上清宫主

服了
写个蜗牛，43万行折成1万行一个的，要50秒左右
Sub csv拆分多个文件1()
t = Timer
Dim cnn As Object
Set cnn = CreateObject("adodb.connection")
Dim rst As New ADODB.Recordset
MyPath = "d:\tmp\"
cnn.Open "rovider=Microsoft.Ace.OLEDB.12.0;Extended Properties='text;FMT=DELIMITED';Data Source=" & MyPath
SQL$ = "select *  from test.csv"
rst.Open SQL, cnn, 1, 1
For i = 0 To rst.Fields.Count - 1
        s = s & "," & rst.Fields(i).Name
Next
Open MyPath & "test0.csv" For Output As #1
Print #1, Mid(s, 2)
r& = 1
f% = 0
Do While r <= rst.RecordCount
   stmp = ""
   For j% = 0 To rst.Fields.Count - 1
            stmp = stmp & "," & rst.Fields(j).Value
   Next
   rst.MoveNext
   Print #1, Mid(stmp, 2)
   If r Mod 10000 = 0 Then
      Close #1
      f = f + 1
      Open MyPath & "test" & f & ".csv" For Output As #1
      Print #1, Mid(s, 2)
   End If
   r = r + 1
Loop
If Len(stmp) Then Print #1, Mid(stmp, 2)
Close #1
cnn.Close
Set cnn = Nothing
[a2] = Timer - t
End Sub

lnykwrz

学习了