• Posts tagged "gc"

Blog Archives

Posted:
Sep 25, 2013
Tags:
Comments:
1 Comment

Nodejs临时文件回收器reap

从零开始nodejs系列文章，将介绍如何利Javascript做为服务端脚本，通过Nodejs框架web开发。Nodejs框架是基于V8的引擎，是目前速度最快的Javascript引擎。chrome浏览器就基于V8，同时打开20-30个网页都很流畅。Nodejs标准的web开发框架Express，可以帮助我们迅速建立web站点，比起PHP的开发效率更高，而且学习曲线更低。非常适合小型网站，个性化网站，我们自己的Geek网站！！

关于作者

  • 张丹(Conan), 程序员Java,R,PHP,Javascript
  • weibo：@Conan_Z
  • blog: http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处：
http://blog.fens.me/nodejs-gc-reap/

reap

前言
生产环境中，临时目录总是容易被我们忽略考虑的问题。当通过服务器上传文件时，一般文件流先会产生在临时目录中，然后再通过重命名，复制等后续操作保存在到存储目录。我们总是会想，临时目录(/tmp)的文件，操作系统当空间不够的时候，会自动回收的，所以就放之不管。

可是操作系统的回收，并不是像人脑那么智能。也许就是在服务器IO最繁忙的时候，他发出了要回收临时目录的命令。服务器卡几秒，就真不好说了。特别是对于时时可靠性要求很高的系统，几秒都是不可忍受的。

让人脑来解决临时目录清理的问题吧！用reap只需几行命令。

目录

  1. reap介绍
  2. reap的命令使用
  3. reap程序开发

1. reap介绍

reap是一个简单小巧的临时文件回收器。reap有一个监控的调度，可以设置间隔时间，删除指定目录中的文件，并把日志打印到控制台。

一般情况服务都是在Linux环境，win也可以运行！

2. reap的命令使用

我的系统环境

  • Linux: Ubuntu 12.04.2 64bit Server
  • Node: v0.11.2
  • Npm: 1.2.21

全局安装reap


~ mkdir nodejs-reap && cd nodejs-reap
~ sudo npm install -g reap
/usr/local/bin/reap -> /usr/local/lib/node_modules/reap/bin/reap
npm WARN package.json cookie-signature@1.0.1 No repository field.
npm WARN package.json methods@0.0.1 No repository field.
npm WARN package.json range-parser@0.0.4 No repository field.
npm WARN package.json dateformat@1.0.2-1.2.3 No repository field.
npm WARN package.json bytes@0.2.0 No repository field.
npm WARN package.json pause@0.0.1 No repository field.
npm WARN package.json uid2@0.0.2 No repository field.
npm WARN package.json policyfile@0.0.4 'repositories' (plural) Not supported.
npm WARN package.json Please pick one as the 'repository' field
npm WARN package.json assert-plus@0.1.2 No repository field.
npm WARN package.json ctype@0.5.2 No repository field.
npm WARN package.json cheerio-select@0.0.3 No repository field.
npm WARN package.json github-url-from-git@1.1.1 No repository field.
reap@0.1.0 /usr/local/lib/node_modules/reap
├── ms@0.6.1
├── bytes@0.2.1
├── batch@0.4.0
├── debug@0.7.2
└── commander@1.2.0 (keypress@0.1.0)

reap的命令


~ reap -h
  
  Usage: reap [options] 
  Options:
    -h, --help            output usage information
    -t, --threshold   file unlink threshold [1 hour]
    -s, --single          run a single time and exit
  • -h, –help: 打印帮助信息
  • -t, –threshold: 后台运行，设置间隔时间(ms)
  • -s, –single: 单次运行

我们新建两个目录，用来测试。

  • tmp目录:临时目录，被reap监控并清空
  • files目录:源文件目录，放置一些文件
      • 
~ mkdir tmp
~ mkdir files

~ ls -l files/
-rw-r--r-- 1 conan conan  303  8月  2 09:50 github.Rproj
-rw-rw-r-- 1 conan conan  821  7月 31 20:19 q.log
-rw-r--r-- 1 conan conan  195  8月  2 10:07 sayHello.r
-rw-r--r-- 1 conan conan 2045  8月  2 11:41 script.r
-rw-rw-r-- 1 conan conan 4510  4月 21 13:43 vbox.log

      模拟/tmp产生临时文件

      
~ cp files/* tmp/

      每10秒扫描./tmp目录，并清空文件

      
~ reap -t 10s ./tmp
  rm /home/conan/nodejs/nodejs-reap/tmp/github.Rproj 303b
  rm /home/conan/nodejs/nodejs-reap/tmp/q.log 821b
  rm /home/conan/nodejs/nodejs-reap/tmp/sayHello.r 195b
  rm /home/conan/nodejs/nodejs-reap/tmp/script.r 2kb
  rm /home/conan/nodejs/nodejs-reap/tmp/vbox.log 4.4kb

  0 files
  0b total

  0 files
  0b total

  rm /home/conan/nodejs/nodejs-reap/tmp/github.Rproj 303b
  rm /home/conan/nodejs/nodejs-reap/tmp/q.log 821b
  rm /home/conan/nodejs/nodejs-reap/tmp/sayHello.r 195b
  rm /home/conan/nodejs/nodejs-reap/tmp/script.r 2kb
  rm /home/conan/nodejs/nodejs-reap/tmp/vbox.log 4.4kb

      3. reap程序开发

      本地安装reap

      
~ npm install reap
reap@0.1.0 node_modules/reap
├── ms@0.6.1
├── bytes@0.2.1
├── batch@0.4.0
├── debug@0.7.2
└── commander@1.2.0 (keypress@0.1.0)

      增加文件：app.js，通过nodejs来控制reap.

      
~ vi app.js

var Reaper = require('reap');

var threshold = 1000;//ms
var reaper = new Reaper({threshold:1000});
reaper.watch('./tmp');
reaper.on('remove', function(file){
    console.log('  rm %s %sb', file.path, file.size);
});

setInterval(function(){
    console.log("\n"+new Date());
    reaper.start(function(err, files){
        if (err) throw err;
        console.log('  %d files\n', files.length);
    });
}, threshold);

      通过node运行reap, 每1s清理一次。

      
~ node app.js

Wed Sep 25 2013 12:25:44 GMT+0800 (CST)
  0 files

Wed Sep 25 2013 12:25:45 GMT+0800 (CST)
  rm /home/conan/nodejs/nodejs-reap/tmp/github.Rproj 303b
  rm /home/conan/nodejs/nodejs-reap/tmp/q.log 821b
  rm /home/conan/nodejs/nodejs-reap/tmp/sayHello.r 195b
  rm /home/conan/nodejs/nodejs-reap/tmp/script.r 2045b
  rm /home/conan/nodejs/nodejs-reap/tmp/vbox.log 4510b
  5 files

Wed Sep 25 2013 12:25:46 GMT+0800 (CST)
  0 files


Wed Sep 25 2013 12:25:47 GMT+0800 (CST)
  0 files


Wed Sep 25 2013 12:25:48 GMT+0800 (CST)
  0 files

Wed Sep 25 2013 12:25:49 GMT+0800 (CST)
  rm /home/conan/nodejs/nodejs-reap/tmp/q.log 821b
  rm /home/conan/nodejs/nodejs-reap/tmp/github.Rproj 303b
  rm /home/conan/nodejs/nodejs-reap/tmp/script.r 2045b
  rm /home/conan/nodejs/nodejs-reap/tmp/sayHello.r 195b
  rm /home/conan/nodejs/nodejs-reap/tmp/vbox.log 4510b
  5 files

      另一个shell 模拟产生临时文件

      
~ cp files/* tmp/

      简单的小工具，有时候可以帮我们解决复杂的问题。大型软件架构设计，需要做得更细！！

      转载请注明出处：
      http://blog.fens.me/nodejs-gc-reap/

      打赏作者