archival/bzip2.c

   1 /*
   2  * Copyright (C) 2007 Denys Vlasenko <vda.linux@googlemail.com>
   3  *
   4  * This file uses bzip2 library code which is written
   5  * by Julian Seward <jseward@bzip.org>.
   6  * See README and LICENSE files in bz/ directory for more information
   7  * about bzip2 library code.
   8  */
   9
  10 #include "libbb.h"
  11
  12 #define CONFIG_BZIP2_FEATURE_SPEED 1
  13
  14 /* Speed test:
  15  * Compiled with gcc 4.2.1, run on Athlon 64 1800 MHz (512K L2 cache).
  16  * Stock bzip2 is 26.4% slower than bbox bzip2 at SPEED 1
  17  * (time to compress gcc-4.2.1.tar is 126.4% compared to bbox).
  18  * At SPEED 5 difference is 32.7%.
  19  *
  20  * Test run of all CONFIG_BZIP2_FEATURE_SPEED values on a 11Mb text file:
  21  *     Size   Time (3 runs)
  22  * 0:  10828  4.145 4.146 4.148
  23  * 1:  11097  3.845 3.860 3.861
  24  * 2:  11392  3.763 3.767 3.768
  25  * 3:  11892  3.722 3.724 3.727
  26  * 4:  12740  3.637 3.640 3.644
  27  * 5:  17273  3.497 3.509 3.509
  28  */
  29
  30
  31 #define BZ_DEBUG 0
  32 /* Takes ~300 bytes, detects corruption caused by bad RAM etc */
  33 #define BZ_LIGHT_DEBUG 0
  34
  35 #include "bz/bzlib.h"
  36
  37 #include "bz/bzlib_private.h"
  38
  39 #include "bz/blocksort.c"
  40 #include "bz/bzlib.c"
  41 #include "bz/compress.c"
  42 #include "bz/huffman.c"
  43
  44 /* No point in being shy and having very small buffer here.
  45  * bzip2 internal buffers are much bigger anyway, hundreds of kbytes.
  46  * If iobuf is several pages long, malloc() may use mmap,
  47  * making iobuf is page aligned and thus (maybe) have one memcpy less
  48  * if kernel is clever enough.
  49  */
  50 enum {
  51         IOBUF_SIZE = 8 * 1024
  52 };
  53
  54 static uint8_t level;
  55
  56 /* NB: compressStream() has to return -1 on errors, not die.
  57  * bbunpack() will correctly clean up in this case
  58  * (delete incomplete .bz2 file)
  59  */
  60
  61 /* Returns:
  62  * -1 on errors
  63  * total written bytes so far otherwise
  64  */
  65 static
  66 USE_DESKTOP(long long) int bz_write(bz_stream *strm, void* rbuf, ssize_t rlen, void *wbuf)
  67 {
  68         int n, n2, ret;
  69
  70         strm->avail_in = rlen;
  71         strm->next_in = rbuf;
  72         while (1) {
  73                 strm->avail_out = IOBUF_SIZE;
  74                 strm->next_out = wbuf;
  75
  76                 ret = BZ2_bzCompress(strm, rlen ? BZ_RUN : BZ_FINISH);
  77                 if (ret != BZ_RUN_OK /* BZ_RUNning */
  78                  && ret != BZ_FINISH_OK /* BZ_FINISHing, but not done yet */
  79                  && ret != BZ_STREAM_END /* BZ_FINISHed */
  80                 ) {
  81                         bb_error_msg_and_die("internal error %d", ret);
  82                 }
  83
  84                 n = IOBUF_SIZE - strm->avail_out;
  85                 if (n) {
  86                         n2 = full_write(STDOUT_FILENO, wbuf, n);
  87                         if (n2 != n) {
  88                                 if (n2 >= 0)
  89                                         errno = 0; /* prevent bogus error message */
  90                                 bb_perror_msg(n2 >= 0 ? "short write" : "write error");
  91                                 return -1;
  92                         }
  93                 }
  94
  95                 if (ret == BZ_STREAM_END)
  96                         break;
  97                 if (rlen && strm->avail_in == 0)
  98                         break;
  99         }
 100         return 0 USE_DESKTOP( + strm->total_out );
 101 }
 102
 103 static
 104 USE_DESKTOP(long long) int compressStream(void)
 105 {
 106         USE_DESKTOP(long long) int total;
 107         ssize_t count;
 108         bz_stream bzs; /* it's small */
 109 #define strm (&bzs)
 110         char *iobuf;
 111 #define rbuf iobuf
 112 #define wbuf (iobuf + IOBUF_SIZE)
 113
 114         iobuf = xmalloc(2 * IOBUF_SIZE);
 115         BZ2_bzCompressInit(strm, level);
 116
 117         while (1) {
 118                 count = full_read(STDIN_FILENO, rbuf, IOBUF_SIZE);
 119                 if (count < 0) {
 120                         bb_perror_msg("read error");
 121                         total = -1;
 122                         break;
 123                 }
 124                 /* if count == 0, bz_write finalizes compression */
 125                 total = bz_write(strm, rbuf, count, wbuf);
 126                 if (count == 0 || total < 0)
 127                         break;
 128         }
 129
 130 #if ENABLE_FEATURE_CLEAN_UP
 131         BZ2_bzCompressEnd(strm);
 132         free(iobuf);
 133 #endif
 134         return total;
 135 }
 136
 137 static
 138 char* make_new_name_bzip2(char *filename)
 139 {
 140         return xasprintf("%s.bz2", filename);
 141 }
 142
 143 int bzip2_main(int argc, char **argv) MAIN_EXTERNALLY_VISIBLE;
 144 int bzip2_main(int argc UNUSED_PARAM, char **argv)
 145 {
 146         unsigned opt;
 147
 148         /* standard bzip2 flags
 149          * -d --decompress force decompression
 150          * -z --compress force compression
 151          * -k --keep     keep (don't delete) input files
 152          * -f --force    overwrite existing output files
 153          * -t --test     test compressed file integrity
 154          * -c --stdout   output to standard out
 155          * -q --quiet    suppress noncritical error messages
 156          * -v --verbose  be verbose (a 2nd -v gives more)
 157          * -s --small    use less memory (at most 2500k)
 158          * -1 .. -9      set block size to 100k .. 900k
 159          * --fast        alias for -1
 160          * --best        alias for -9
 161          */
 162
 163         opt_complementary = "s2"; /* -s means -2 (compatibility) */
 164         /* Must match bbunzip's constants OPT_STDOUT, OPT_FORCE! */
 165         opt = getopt32(argv, "cfv" USE_BUNZIP2("dt") "123456789qzs");
 166 #if ENABLE_BUNZIP2 /* bunzip2_main may not be visible... */
 167         if (opt & 0x18) // -d and/or -t
 168                 return bunzip2_main(argc, argv);
 169         opt >>= 5;
 170 #else
 171         opt >>= 3;
 172 #endif
 173         opt = (uint8_t)opt; /* isolate bits for -1..-8 */
 174         opt |= 0x100; /* if nothing else, assume -9 */
 175         level = 1;
 176         while (!(opt & 1)) {
 177                 level++;
 178                 opt >>= 1;
 179         }
 180
 181         argv += optind;
 182         option_mask32 &= 0x7; /* ignore all except -cfv */
 183         return bbunpack(argv, make_new_name_bzip2, compressStream);
 184 }