perl对大量大文件进行读写

时间：2014-05-05 10:48:30 收藏：0 阅读：341

在对大量文件进行读写时，最好将文件存为gz文件，可以节约读写硬盘的时间，硬盘也不会那么卡。

在写gz文件时，最好使用PerlIO::gzip模块。这个模块不用调用gzip命令，减少了程序占用的线程数量，可以有效的降低load。

下面是一个例子。

#! /usr/bin/env perl
use strict;
use warnings;
use List::Util;
use FileHandle;
use PerlIO::gzip;

my %fh;

my @a=(1..100);
for(my $i=1;$i<=100;$i++){
    open $fh{$i}, ">:gzip", "x.$i.gz";
    #open ($fh{$i},"|gzip > x.$i.gz"); #此行是不推荐的写法
}

for(my $i=0;$i<1e9;$i++){
    my @b=List::Util::shuffle @a;
    my $x=$b[0];
    $fh{$x}->print("@b\n");
}

foreach my $i(keys %fh){
    close $fh{$i};
}

perl对大量大文件进行读写,布布扣,bubuko.com