网络编程 | 站长之家 | 网页制作 | 图形图象 | 操作系统 | 冲浪宝典 | 软件教学 | 网络办公 | 邮件系统 | 网络安全 | 认证考试 | 系统进程
Firefox | IE | Maxthon | 迅雷 | 电驴 | BitComet | FlashGet | QQ | QQ空间 | Vista | 输入法 | Ghost | Word | Excel | wps | Powerpoint
asp | .net | php | jsp | Sql | c# | Ajax | xml | Dreamweaver | FrontPages | Javascript | css | photoshop | fireworks | Flash | Cad | Discuz!
当前位置 > 网站建设学院 > 网络编程 > Delphi
Tag:注入,存储过程,分页,安全,优化,xmlhttp,fso,jmail,application,session,防盗链,stream,无组件,组件,md5,乱码,缓存,加密,验证码,算法,cookies,ubb,正则表达式,水印,索引,日志,压缩,base64,url重写,上传,控件,Web.config,JDBC,函数,内存,PDF,迁移,结构,破解,编译,配置,进程,分词,IIS,Apache,Tomcat,phpmyadmin,Gzip,触发器,socket
网络编程:ASP教程,ASP.NET教程,PHP教程,JSP教程,C#教程,数据库,XML教程,Ajax,Java,Perl,Shell,VB教程,Delphi,C/C++教程,软件工程,J2EE/J2ME,移动开发
本月文章推荐
.Delphi中的类和对象.
.通过实例看VCL组件开发全过程(一.
.firebird嵌入式数据库.
.[Delphi]一个解析FTP地址的小函数.
.走近Inprise/Borland.
.软件启动画面中启动状态的显示.
.在DELPHI中用线程排序.
.精确计算PI小数点后800位小数.
.网络和通讯编程.
.TStringGrid多选的复制与拷贝.
.Delphi中的字符串.
.如何将界面代码和功能代码分离(.
.接口与类的区别.
.用AdoDataSet实现数据表的导入导.
.Delphi的拨号连接类.
.Delphi程序设计综合训练任务书.
.编译器(解释器)编写指南-编写编.
.用Delphi创建服务程序.
.如何在Delphi中实现ASP编程.
.Delphi+Word解决方案参考.

一个读取速度超快的FileStream!

发表日期:2006-2-4


 

最近一直为自己制作的相册软件(http://www.tonixsoft.com/ultraalbum/index.php?lang=chs)打开大文件时速度慢而郁闷,我以前的做法是先用TFileStream打开一个文件,然后在其中找到其中的数据段,把其中内容复制给一个TMemoryStream,之所以要再将它复制给一个独立的TMemoryStream是因为,后续处理的一个文件型数据库组件必须接受一整个TStream,作为其存储媒介,整个过程简直慢得无法忍受。

之所以速度慢,是有两方面的原因:
1。用TFileStream打开文件,操作系统在打开文件后会为文件生成内存镜像,文件一大,那么开辟空间以及内存拷贝的工作就会变得极为缓慢。
2。将TFileStream中的一部分再复制给TMemoryStream,这个复制过程会开辟新的内存再进行复制,理所当然内存大了,复制时间也会变长。

我决心针对目前我所遇到的问题,再写一个文件读取类,目前就叫TFastFileStream吧,它必须从TStream继承而来,这样才能和其它组件方便地结合起来。

首先,要解决的是打开大文件慢的问题,对于这个,使用MapViewOfFile(),将文件直接当作内存镜像来访问就可以了,关于MapViewOfFile(),以及文件内存镜像,可以参考这篇文章:http://www.vccode.com/file_show.php?id=2409

Delphi下建立文件镜像的方法为:
constructor TFastFileStream.Create(const AFileName:String);
var
  FileSizeHigh:LongWord;
begin
  FFileHandle:=CreateFile(PChar(AFileName),GENERIC_READ,FILE_SHARE_READ,nil,OPEN_EXISTING,FILE_ATTRIBUTE_NORMAL,0);
  if FFileHandle=INVALID_HANDLE_VALUE then begin
    raise FastFileStreamException.Create('Error when open file');
  end;
  FSize:=GetFileSize(FFileHandle,@FileSizeHigh);
  if FSize=INVALID_FILE_SIZE then begin
    raise FastFileStreamException.Create('Error when get file size');
  end;
  FMappingHandle:=CreateFileMapping(FFileHandle,nil,PAGE_READONLY,0,0,nil);
  if FMappingHandle=0 then begin
    raise FastFileStreamException.Create('Error when mapping file');
  end;
  FMemory:=MapViewOfFile(FMappingHandle,FILE_MAP_READ,0,0,0);
  if FMemory=nil then begin
    raise FastFileStreamException.Create('Error when map view of file');
  end;
end;

最后,被做成镜像的数据就存放在FMemory中了,然后,覆盖TStream的Read()方法,当外部需要取得数据时,让它到FMemory中去取:
function TFastFileStream.Read(var Buffer;Count:LongInt):LongInt;
begin
  if (FPosition >= 0) and (Count >= 0) then
  begin
    Result := FSize - FPosition;
    if Result > 0 then
    begin
      if Result > Count then Result := Count;
      //Move(Pointer(Longint(FMemory) + FPosition)^, Buffer, Result);
      CopyMemory(Pointer(@Buffer),Pointer(LongInt(FMemory)+FPosition),Result);
      Inc(FPosition, Result);
      Exit;
    end;
  end;
  Result := 0;
end;
这段函数主要还是模仿TCustomMemoryStream中的同名方法来写的,但是有一点比较奇怪,当我使用Delphi自己的内存拷贝函数Move()时,程序总是会访问到非法地址,所以只好改为用API函数CopyMemory()了。

另外,需要实现的函数还有:
function TFastFileStream.GetSize():Int64;
begin
  result:=FSize;
end;

function TFastFileStream.Seek(const Offset: Int64; Origin: TSeekOrigin): Int64;
begin
  case Ord(Origin) of
    soFromBeginning: FPosition := Offset;
    soFromCurrent: Inc(FPosition, Offset);
    soFromEnd: FPosition := FSize + Offset;
  end;
  Result := FPosition;
end;
这样,一套完整的文件读取机制就有了。

由于复杂度的关系,我没有实现文件保存机制,感兴趣的朋友请自己实现吧。

接下去,需要解决的是如何将目前用到的两个Stream的复制操作进行优化,开始想到的办法是,建立一个新的Stream类,它在从别的Stream复制出数据时,不新开内存,而是将内部的内存指针指向源Stream内的数据块中的某一段,但是这样一来,这个Stream类只有在源Stream的生存期内才可用,关系变得似乎有些混乱了。

后来,忽然又想到另一个办法,其实对于外部类来说(即我用到的文件型数据库组件),它只是使用Read(),Seek()等方法来访问数据的,那么我只要用一些欺骗的方法,让内部类返回给外部的只是其内部数据中的某一段就可以了。
对于我的程序来说,在找到我要的数据的位置后,对其设置一个虚拟的数据范围,在以后的外部访问时,都返回该虚拟数据范围内的数据。这样一来,只需要在原TFastFileStream的基础上进行一定的改造就可以了。

procedure TFastFileStream.SetUseableMemory(const StartPos:Int64;const Size:Int64);
begin
  FUseableStartPos:=StartPos;
  FSize:=Size;
end;

function TFastFileStream.Read(var Buffer;Count:LongInt):LongInt;
begin
  ...
      CopyMemory(Pointer(@Buffer),Pointer(LongInt(FMemory)+FUseableStartPos+FPosition),Result);
  ...
end;

好了,到此为止改造就结束了,最后换上这个新写的FileStream类,一试,速度果然是惊人的快啊,原来打开一个近30MB的文件,使用两个Stream类,需要约40秒,改成新的TFastFileStream后,只需要一个类就搞定,时间在5秒以内,哈哈,果然爽阿!

如果需要这个类的完整代码,可以写信联系我:
tonyki[at]citiz.net

上一篇:动态连接数据库及动态建立ODBC,DSN(ZT) 人气:5278
下一篇:Delphi2005(DiamondBack)使用体验 人气:4316
浏览全部Delphi的内容 Dreamweaver插件下载 网页广告代码 祝你圣诞节快乐 2009年新年快乐