Chinaunix首页 | 论坛 | 博客
  • 博客访问: 234932
  • 博文数量: 50
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1487
  • 用 户 组: 普通用户
  • 注册时间: 2013-07-24 10:31
文章分类
文章存档

2014年(20)

2013年(30)

分类: C/C++

2013-08-26 09:24:52

 TDM和TDMS是一种NI的数据存储文件格式,兼顾速度、逻辑组织。对于此格式数据文件,NI提供的第三方库使用也很便捷。关于TDM和 TDMS的更多叙述,请自行google、百度,或者去官网了解。这里主要给出第三方库的简单使用,及经过自己的测试,得到的关于TDM和TDMS格式的 效率结论。

       NI提供的第三方库使用时配置环境十分简单,把头文件、动态库布置好就行,读写文件的例子如下(从官网下载第三方库带的也有例子):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
//写TDM/TDMS格式文件
int CTDMSTestDlg::WriteDDCFile(const char* filePath, int channelNum, int dataLen, const char* fileType /* = "TDM" */)
{
    DWORD begin = ::GetTickCount();
    DDCFileHandle testFile;
    DDC_CreateFile(filePath, fileType, "", "", "", "", &testFile);//创建指定格式的文件
    DDCChannelGroupHandle group01;
    DDC_AddChannelGroup(testFile, "group01", "", &group01);//增加一个通道组
    DDCChannelHandle* channels = new DDCChannelHandle[channelNum];
    double* channelData = CreateRandomData(dataLen);
    for (int i = 0; i < channelNum; i++)
    {
        char channelIdx[20];
        itoa(i, channelIdx, 10);
        DDC_AddChannel(group01, DDC_Double, channelIdx, "", "", &channels[i]);//增加一个通道,注意每次增加通道时,第三个参数的值要不一样,否则会覆盖
        DDC_SetDataValues(channels[i], channelData, dataLen);                   //为新增的通道设置数据
    }
    DDC_SaveFile(testFile);
    DWORD end = ::GetTickCount();
    DDC_CloseFile(testFile);
    delete[] channels;
    delete[] channelData;
    return end - begin;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
//读TDM/TDMS格式文件
int CTDMSTestDlg::ReadDDCFile(const char* filePath, const char* fileType/* = "TDM"*/)
{
    DWORD begin = ::GetTickCount();
    DDCFileHandle ddcFile;
    DDC_OpenFile(filePath, fileType, &ddcFile);//打开文件
    unsigned int groupNum = 0;
    DDC_GetNumChannelGroups(ddcFile, &groupNum);//获取通道组的数目
    DDCChannelGroupHandle* groups = new DDCChannelGroupHandle[groupNum];
    for (int i = 0; i < groupNum; i++)
    {
        unsigned int channelNum = 0;
        DDC_GetNumChannels(groups[i], &channelNum);//获取通道的数目
        DDCChannelHandle* channels = new DDCChannelHandle[channelNum];
        for (int j = 0; j < channelNum; j++)
        {
            unsigned __int64 dataLen = 0;
            DDC_GetNumDataValues(channels[j], &dataLen);//获取数据长度
            double* data = new double[dataLen];
            DDC_GetDataValuesDouble(channels[j], 0, dataLen, data);//获取double类型数据
            for (int k = 0; k < dataLen; k++)
            {
                data[k];
            }
        }
        delete[] groups;
        groups = NULL;
    }
    DWORD end = ::GetTickCount();
    DDC_CloseFile(ddcFile);
    delete[] groups;
    return end - begin;
}

       可以看出,读写TDM和TDMS文件是非常方便的。

       但是TDM和TDMS格式有什么区别呢?查过很多资料,最直接的最表象的区别就是,TDM有个XML头,其他数据用二进制保存,而TDMS的索引啊数据 啊都是二进制文件。看官网的介绍,我一直以为TDMS格式是比较提倡的。后来做实验发现好像不是这么回事,我得到的结论如下(不局限于两者的区别,还包括 别的结论,另外也不保证一定对,但是可以作为参考,大家相互讨论):

       1、在通道数和每个通道的数据长度相同时,TDM和TDMS格式产生的文件是差不多大小的;

       2、在通道数和每个通道的数据长度相同时,TDM和TDMS格式写入数据时,TDMS格式写数据总是比TDM格式花费的时间多将近一倍,读取数据的时间 都差不多(两者都有索引,在多次读取数据时,花费的时间会比第一次花费的时间少,不过TDMS格式在多次访问后的读取时间始终比TDM格式的要多一点 点);

       3、通道数目增加到10000这个级别的时候,写数据花费的时间明显增加很多,但是数据长度的增加和写数据所花费的时间基本呈线性比例;

       4、注意写入数据时要留足空间!这个第三方库产生的中间文件比最终的数据文件大小还要大很多,比如12G左右的数据文件可能需要至少32G以上的空间。 不过如果数据量不大的话,比如128个通道,数据长度为102400,最终数据大小为100M,不算很大,中间文件需要的空间也就不是很大,无需担心了。
阅读(3209) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~