C#以文件系统(二进制)形式保存数据

[nini7809]

RT.

有哪位兄弟做过类似项目？
就是以文件系统代替关系数据库。

GOOGLE了很久都没有价值的东东来，可能是关键字不对。

请有过经验的朋友指点一下，
现在我想要写个小工具，就是对文件系统和数据库的数据操作性能做一个详细的对比。

需要在不同操作系统下，因为C++和JAVA不擅长，所以就先决定用C#实现了。

[nini7809]

大型系统，商用数据，用文本文件肯定不合适。

[ShinNakoruru]

我有类似的。
给你个小例子。

定义

    interface IDataPacket
    {
        byte[] Pack();
        void Unpack(byte[] buffer);
    }

    //所有实体继承于IDataPacket。
    //假设

    public class User : IDataPacket
    {
        public int UserId {get;set;}
        public string UserName {get;set;}

        public byte[] Pack()
        {
            byte[] ret=null;

            using(System.IO.MemoryStream ms = new System.IO.MemoryStream())
            {
                using(BinaryWriter wtr=new BinaryWriter(ms))
                {
                    wtr.Write(UserId);
                    wtr.Write(UserName);
                }
                ms.Flush();
                ret = ms.ToArray();
            }

            return ret;
        }

        public void Unpack(byte[] buffer)
        {
            using (System.IO.MemoryStream ms = new System.IO.MemoryStream(buffer))
            {
                using (BinaryReader rdr = new BinaryReader(ms))
                {
                    UserId = rdr.ReadInt32();
                    UserName = rdr.ReadString();
                }
            }
        }
    }

实体值写入文件系统只需要FileStream.Write(User.Pack())，而读取数据只需要Read出对应长度的byte[]
调用User.Unpack()。
当然你还需要在数据包中定义字节流长度以便读取。
事实上我上面的例子是我用来写自定义网络通讯协议的。

[nini7809]

真对不起，我好像研究方向有点搞错了... ...
事实上用C#实现对二进制文件的读写应该是不难，刚找到一篇文章。
http://maidini.blog.163.com/blog/static/377627042009112115421461/

我们现在研究的方向是文件系统与数据库的性能对比。
文件系统这个东东到底是什么呢？是不是要自己定义文件结构呢？其中的索引设计是不是很重要呢？
我的理解是，其实像ORACLE、MSSQL、DB2这样的数据库最终都是以文件系统的形式存储数据的，只是在上面加了一层关系，所以就成了关系数据库？

而现在要研究的文件系统就是抛开中间的关系数据库，直接对二进制文件（系统）进行读写？

有点没有头绪，请大虾指点... ...
还有，我是不是问错板块了？

[以专业开发人员为伍]

google了很久什么？不是什么都用google来“解决的”，如果你没有别人告诉你该google什么，自己可能会自欺欺人。

什么叫做数据库？给你个基本知识，这是任何一个正规学软件的人应该在《数据库原理和设计》（注意不是皮毛式的使用数据库，而是学习开发数据库）课程都会学到：

1. 它可以合理地将数据组织到磁盘块中。
2. 它知道如何进行b+树之类的索引。
3. 它支持sql语句或者类似的其它嵌入编程工具的高效工具，并且自动高效地编译查询语句。
4. 它懂得支持事务处理，不懂事务处理的内部机制还叫做会进行数据库编程？
5. 它支持大规模多用户或者同一进程中的多线程的并发访问数据库，通常可以基于记录级别维护锁（而不是基于表）。
6. 它支持自动维护ID、外键级联操作等等机制。
7. 支持以命名管道、tcp、http等方式，以SQL、xml等等多种客户端访问方式。
8. 支持触发器或者类似的编程机制。

等等。


当你不需要数据库时，可以使用文件系统。但是小心把事情夸大得满拧了，说“代替”二字还是要谨慎一点。

[以专业开发人员为伍]

[Quote=引用 4 楼 nini7809 的回复:]
其实像ORACLE、MSSQL、DB2这样的数据库最终都是以文件系统的形式存储数据的，只是在上面加了一层关系，所以就成了关系数据库？

而现在要研究的文件系统就是抛开中间的关系数据库，直接对二进制文件（系统）进行读写？
[/Quote]
你写一个管理系统，实现了这个功能，你自己不是就做了一个关系数据库了嘛！

所以你的说法我觉得特逗，跟现在很多小孩子一样，动不动就时髦的名词“不用xxxxx，直接xxxxx”，可是你如果做出来真东西，不就是模仿人家你不屑于用的东西了嘛？！还有什么新鲜的想法？

[以专业开发人员为伍]

拿第一个来说吧，这就根本不是什么在文件末尾增加数据记录、每当删除记录都重建整个文件的浅显思路可以解决的：

文件系统要高效地读取数据，那么最基本地就是尽量每一次读取数据块的大小都是底层磁盘块的整数倍。例如数据库系统会把8k、16k之类的作为一个磁盘数据块，然后把多条记录放在一个数据库内，而记录并不跨多个数据块。当保存新记录时，首先要去查询一下空闲数据块队列。当删除记录时，它就有可能使得数据块编程空闲的。一定数目的数据块被高速缓存。这相当于数据库管理系统在基本磁盘文件系统之上又创建了一套磁盘文件操作系统，同时由于有这一层机制存在，当底层存储器改变时只要选择不同的适配程序重新编译一下，而其它层并不改变。

[上海程序员3]

FileStrem 用文件流，不过我也弄了自己的数据库（或是文件系统），我没有用文件流，直接写文本文件。

[mjp1234airen4385]

每天5000万的数据量，你还使用自己编写的文件系统。
你可真有勇气。
如果你把自己开发的这套千万级/天的系统做好了，能当数据库买了。

[nini7809]

LS的头像真有勇气~

[nini7809]

谢谢大虾的指点，受教了！

事件是起源是这样的：
现在需要做一个课题的预研，要面对日均5000万的数据处理，在同等硬件条件下，是采用文件系统还是采用数据库的好。不知道金融电信等行业是如何处理的，当然是需要一些明确的性能数字来说明的。

以前对文件系统的存储几乎没什么了解，找资料又似乎没什么头绪。所以前来求解惑之道了。

[nini7809]

请sp1234这位老兄多多指点~

我现在没什么头绪
我应该先详细了解什么叫文件系统么？
这里的文件系统与磁盘的逻辑分区文件系统有什么关联呢？
在尝试以文件系统存储数据时，最终要的是不是文件系统的结构设计呢？
这些设计我又该去了解些什么资料？

[nini7809]

终-->重

[快乐大法师]

查查 序列化吧 二进制的 可能有用

[bluedoctor]

自己定一个数据结构，也就是字段的长度和类型结构，以前的VB就直接支持把结构保存到随机文件中，需要的时候按照“记录号”查找并更新即可。
也可以使用序列化方式，将对象序列化，比如序列化成JSON格式，存储效率很高的。我们做了一个系统就是这样的搞的，没有使用任何数据库，把对象序列化成文件来访问。

[andy1118]

向高手学习

顶上去

[nini7809]

继续顶~

[nini7809]

继续!

[xie_xingan]

我想你可能希望找的是一个轻量级的数据库,有几个小型的数据库，也可以叫做文件型的数据库，这类数据库并不像SqlServer, MySql一样需要后台服务，它们只需要用文件+DLL就可以调用。
1. Sqlite
Firefox就是用的这个。
http://www.sqlite.org/
2. Sql Server Compact
Visual Stuido 用的这个
3. Postgre