日志系统：缓冲区处理

sdliubj123 2017-08-25 10:06:37
最近在做一个日志系统，需要支持输出到文件。考虑到io操作比较慢。所以我决定构建一个缓冲区，当缓冲区内数据大于或等于1M的时候，一次性写入到文件中。
可是当我考虑这个问题的时候遇到了一个难题，如果当缓冲区中的数据小于1M的时候，此时程序挂掉(项目正在开发中，总会莫名的挂掉)。那么这些缓冲区数据就输出不到文件中了。
请问，是否有好的解决方法呢。(苦思冥想中
...全文
865 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
赵4老师 2017-08-25
  • 打赏
  • 举报
 回复
仅供参考：
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#ifdef _MSC_VER
    #pragma warning(disable:4996)
    #include <windows.h>
    #include <io.h>
#else
    #include <unistd.h>
    #include <sys/time.h>
    #include <pthread.h>
    #define  CRITICAL_SECTION   pthread_mutex_t
    #define  _vsnprintf         vsnprintf
#endif
//Log{
#define MAXLOGSIZE 20000000
#define MAXLINSIZE 16000
#include <time.h>
#include <sys/timeb.h>
#include <stdarg.h>
char logfilename1[]="MyLog1.log";
char logfilename2[]="MyLog2.log";
static char logstr[MAXLINSIZE+1];
char datestr[16];
char timestr[16];
char mss[4];
CRITICAL_SECTION cs_log;
FILE *flog;
#ifdef _MSC_VER
void Lock(CRITICAL_SECTION *l) {
    EnterCriticalSection(l);
}
void Unlock(CRITICAL_SECTION *l) {
    LeaveCriticalSection(l);
}
#else
void Lock(CRITICAL_SECTION *l) {
    pthread_mutex_lock(l);
}
void Unlock(CRITICAL_SECTION *l) {
    pthread_mutex_unlock(l);
}
#endif
void LogV(const char *pszFmt,va_list argp) {
    struct tm *now;
    struct timeb tb;

    if (NULL==pszFmt||0==pszFmt[0]) return;
    _vsnprintf(logstr,MAXLINSIZE,pszFmt,argp);
    ftime(&tb);
    now=localtime(&tb.time);
    sprintf(datestr,"%04d-%02d-%02d",now->tm_year+1900,now->tm_mon+1,now->tm_mday);
    sprintf(timestr,"%02d:%02d:%02d",now->tm_hour     ,now->tm_min  ,now->tm_sec );
    sprintf(mss,"%03d",tb.millitm);
    printf("%s %s.%s %s",datestr,timestr,mss,logstr);
    flog=fopen(logfilename1,"a");
    if (NULL!=flog) {
        fprintf(flog,"%s %s.%s %s",datestr,timestr,mss,logstr);
        if (ftell(flog)>MAXLOGSIZE) {
            fclose(flog);
            if (rename(logfilename1,logfilename2)) {
                remove(logfilename2);
                rename(logfilename1,logfilename2);
            }
        } else {
            fclose(flog);
        }
    }
}
void Log(const char *pszFmt,...) {
    va_list argp;

    Lock(&cs_log);
    va_start(argp,pszFmt);
    LogV(pszFmt,argp);
    va_end(argp);
    Unlock(&cs_log);
}
//Log}
int main(int argc,char * argv[]) {
    int i;
#ifdef _MSC_VER
    InitializeCriticalSection(&cs_log);
#else
    pthread_mutex_init(&cs_log,NULL);
#endif
    for (i=0;i<10000;i++) {
        Log("This is a Log %04d from FILE:%s LINE:%d\n",i, __FILE__, __LINE__);
    }
#ifdef _MSC_VER
    DeleteCriticalSection(&cs_log);
#else
    pthread_mutex_destroy(&cs_log);
#endif
    return 0;
}
//1-79行添加到你带main的.c或.cpp的那个文件的最前面
//81-86行添加到你的main函数开头
//90-94行添加到你的main函数结束前
//在要写LOG的地方仿照第88行的写法写LOG到文件MyLog1.log中
无profiler不要谈效率！！尤其在这个云计算、虚拟机、模拟器、CUDA、多核 、多级cache、指令流水线、多种存储介质、……满天飞的时代！ 不要低估操作系统读写文件时使用文件缓冲区提高效率的智商！
sdliubj123 2017-08-25
  • 打赏
  • 举报
 回复
引用 1 楼 wwww200808008 的回复:
我写的日志文件都是有数据就写，你如果用缓冲区势必会丢失数据，出现异常的时候，所以如果你要写日志，最好事先把文件打开，然后一直写就可以了
我现在实现三种方式进行写日志 1.输出到控制台。2.及时输出到文件。3.构建缓冲区，缓冲区满写入到文件。 针对第三种情况，就是刚才说的那个问题了
Remove_ 2017-08-25
  • 打赏
  • 举报
 回复
我写的日志文件都是有数据就写，你如果用缓冲区势必会丢失数据，出现异常的时候，所以如果你要写日志，最好事先把文件打开，然后一直写就可以了
sdliubj123 2017-08-25
  • 打赏
  • 举报
 回复
引用 3 楼 zhao4zhong1 的回复:
仅供参考：
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#ifdef _MSC_VER
    #pragma warning(disable:4996)
    #include <windows.h>
    #include <io.h>
#else
    #include <unistd.h>
    #include <sys/time.h>
    #include <pthread.h>
    #define  CRITICAL_SECTION   pthread_mutex_t
    #define  _vsnprintf         vsnprintf
#endif
//Log{
#define MAXLOGSIZE 20000000
#define MAXLINSIZE 16000
#include <time.h>
#include <sys/timeb.h>
#include <stdarg.h>
char logfilename1[]="MyLog1.log";
char logfilename2[]="MyLog2.log";
static char logstr[MAXLINSIZE+1];
char datestr[16];
char timestr[16];
char mss[4];
CRITICAL_SECTION cs_log;
FILE *flog;
#ifdef _MSC_VER
void Lock(CRITICAL_SECTION *l) {
    EnterCriticalSection(l);
}
void Unlock(CRITICAL_SECTION *l) {
    LeaveCriticalSection(l);
}
#else
void Lock(CRITICAL_SECTION *l) {
    pthread_mutex_lock(l);
}
void Unlock(CRITICAL_SECTION *l) {
    pthread_mutex_unlock(l);
}
#endif
void LogV(const char *pszFmt,va_list argp) {
    struct tm *now;
    struct timeb tb;

    if (NULL==pszFmt||0==pszFmt[0]) return;
    _vsnprintf(logstr,MAXLINSIZE,pszFmt,argp);
    ftime(&tb);
    now=localtime(&tb.time);
    sprintf(datestr,"%04d-%02d-%02d",now->tm_year+1900,now->tm_mon+1,now->tm_mday);
    sprintf(timestr,"%02d:%02d:%02d",now->tm_hour     ,now->tm_min  ,now->tm_sec );
    sprintf(mss,"%03d",tb.millitm);
    printf("%s %s.%s %s",datestr,timestr,mss,logstr);
    flog=fopen(logfilename1,"a");
    if (NULL!=flog) {
        fprintf(flog,"%s %s.%s %s",datestr,timestr,mss,logstr);
        if (ftell(flog)>MAXLOGSIZE) {
            fclose(flog);
            if (rename(logfilename1,logfilename2)) {
                remove(logfilename2);
                rename(logfilename1,logfilename2);
            }
        } else {
            fclose(flog);
        }
    }
}
void Log(const char *pszFmt,...) {
    va_list argp;

    Lock(&cs_log);
    va_start(argp,pszFmt);
    LogV(pszFmt,argp);
    va_end(argp);
    Unlock(&cs_log);
}
//Log}
int main(int argc,char * argv[]) {
    int i;
#ifdef _MSC_VER
    InitializeCriticalSection(&cs_log);
#else
    pthread_mutex_init(&cs_log,NULL);
#endif
    for (i=0;i<10000;i++) {
        Log("This is a Log %04d from FILE:%s LINE:%d\n",i, __FILE__, __LINE__);
    }
#ifdef _MSC_VER
    DeleteCriticalSection(&cs_log);
#else
    pthread_mutex_destroy(&cs_log);
#endif
    return 0;
}
//1-79行添加到你带main的.c或.cpp的那个文件的最前面
//81-86行添加到你的main函数开头
//90-94行添加到你的main函数结束前
//在要写LOG的地方仿照第88行的写法写LOG到文件MyLog1.log中
无profiler不要谈效率！！尤其在这个云计算、虚拟机、模拟器、CUDA、多核 、多级cache、指令流水线、多种存储介质、……满天飞的时代！ 不要低估操作系统读写文件时使用文件缓冲区提高效率的智商！
感谢，我研究一下
android log缓冲区大小,科普：开发者模式日志记录缓冲区到底怎样设置
概念：志缓冲区是小型的、用于短期存储将写入到磁盘上的重做日志的变更向量的临时区域。"变更向量"是应用于某些对象的修改，执行DML语句会生成应用于数据的变更向量。有了重做日志，数据库就可以确保数据永不丢失：每当数据块发生更改时，都会将应用于块的变更向量写到重做日志，如果需要还原数据文件，则通过重做日志，可以将变更向量提取并应用于数据文件备份。性质会话服务器进程不将重做记录直接写入重做日志文件，否则，...
双缓冲区技术-异步日志系统
1. 问题场景 在设计模式中，生产者-消费者模式肯定是排在前面位置的，在实际开发过程中，也常常需要使用这个模式。 在讲解设计模式的书籍中，只会从抽象的角度对生产者-消费者模式进行讲解。面对实际的编程问题，还需要具体问题具体分析。 这里给出一个使用场景，你可以停下来思考一下该如何解决问题： 你需要实现一个日志库，每一个线程调用日志库API函数来写入日志信息，所有的日志信息需要持久化到本地的文件系统。 咱们来分析一下，有哪些问题需要解决： 多线程调用日志库的...
多缓冲提高日志系统性能
前言：无论什么项目肯定都少不了日志系统，所以一个高性能的日志系统是不可避免的。 本文介绍的是自己用c++11实现的一个简单的多缓冲区日志系统，比较水，仅供参考^_^ 主题： 日志系统及重要性 单缓冲日志系统模型及缺陷 多缓冲buffer介绍及优势 多缓冲区缺陷 Buffer类设计及分析 Logger类设计及分析 日志系统及重要性： 日志信息对于一个优秀项目来说是非常重要的，因为无论再优秀的
简述oracle的日志缓冲区,2.4 重做日志缓冲区
2.4 重做日志缓冲区Oracle重做日志的概念是记录每个数据块插入某个值或者删除某个值的语句。假设某个Update语句更新了10个数据块，则按照Oracle重做日志的概念，会针对每个数据块记录一对删除旧值和插入新值的语句，因为有10个数据块，所以会有10对类似的语句被记录下来。而为了减少I/O的次数，Oracle在内存结构里的系统全局区中，划分一块内存块专门存放这些变更的数据，这块区域就叫做重...
今儿新学会一个写日志技能：双缓冲机制
摘要：通过交换指针的方式实现两个缓冲区的功能互换，十分巧妙，令人称赞。
模式及实现

5,530

社区成员

4,169

社区内容

发帖
与我相关
我的任务
社区描述
C/C++ 模式及实现
社区管理员
  • 模式及实现社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章