archival/bzip2.c

   1 /*
   2  * Copyright (C) 2007 Denys Vlasenko <vda.linux@googlemail.com>
   3  *
   4  * This file uses bzip2 library code which is written
   5  * by Julian Seward <jseward@bzip.org>.
   6  * See README and LICENSE files in bz/ directory for more information
   7  * about bzip2 library code.
   8  */
   9
  10 //applet:IF_BZIP2(APPLET(bzip2, BB_DIR_USR_BIN, BB_SUID_DROP))
  11 //kbuild:lib-$(CONFIG_BZIP2) += bzip2.o
  12
  13 //usage:#define bzip2_trivial_usage
  14 //usage:       "[OPTIONS] [FILE]..."
  15 //usage:#define bzip2_full_usage "\n\n"
  16 //usage:       "Compress FILEs (or stdin) with bzip2 algorithm\n"
  17 //usage:     "\n        -1..9   Compression level"
  18 //usage:     "\n        -d      Decompress"
  19 //usage:     "\n        -c      Write to stdout"
  20 //usage:     "\n        -f      Force"
  21
  22 #include "libbb.h"
  23 #include "bb_archive.h"
  24
  25 #define CONFIG_BZIP2_FAST 1
  26
  27 /* Speed test:
  28  * Compiled with gcc 4.2.1, run on Athlon 64 1800 MHz (512K L2 cache).
  29  * Stock bzip2 is 26.4% slower than bbox bzip2 at SPEED 1
  30  * (time to compress gcc-4.2.1.tar is 126.4% compared to bbox).
  31  * At SPEED 5 difference is 32.7%.
  32  *
  33  * Test run of all CONFIG_BZIP2_FAST values on a 11Mb text file:
  34  *     Size   Time (3 runs)
  35  * 0:  10828  4.145 4.146 4.148
  36  * 1:  11097  3.845 3.860 3.861
  37  * 2:  11392  3.763 3.767 3.768
  38  * 3:  11892  3.722 3.724 3.727
  39  * 4:  12740  3.637 3.640 3.644
  40  * 5:  17273  3.497 3.509 3.509
  41  */
  42
  43
  44 #define BZ_DEBUG 0
  45 /* Takes ~300 bytes, detects corruption caused by bad RAM etc */
  46 #define BZ_LIGHT_DEBUG 0
  47
  48 #include "libarchive/bz/bzlib.h"
  49
  50 #include "libarchive/bz/bzlib_private.h"
  51
  52 #include "libarchive/bz/blocksort.c"
  53 #include "libarchive/bz/bzlib.c"
  54 #include "libarchive/bz/compress.c"
  55 #include "libarchive/bz/huffman.c"
  56
  57 /* No point in being shy and having very small buffer here.
  58  * bzip2 internal buffers are much bigger anyway, hundreds of kbytes.
  59  * If iobuf is several pages long, malloc() may use mmap,
  60  * making iobuf is page aligned and thus (maybe) have one memcpy less
  61  * if kernel is clever enough.
  62  */
  63 enum {
  64         IOBUF_SIZE = 8 * 1024
  65 };
  66
  67 static uint8_t level;
  68
  69 /* NB: compressStream() has to return -1 on errors, not die.
  70  * bbunpack() will correctly clean up in this case
  71  * (delete incomplete .bz2 file)
  72  */
  73
  74 /* Returns:
  75  * -1 on errors
  76  * total written bytes so far otherwise
  77  */
  78 static
  79 IF_DESKTOP(long long) int bz_write(bz_stream *strm, void* rbuf, ssize_t rlen, void *wbuf)
  80 {
  81         int n, n2, ret;
  82
  83         strm->avail_in = rlen;
  84         strm->next_in = rbuf;
  85         while (1) {
  86                 strm->avail_out = IOBUF_SIZE;
  87                 strm->next_out = wbuf;
  88
  89                 ret = BZ2_bzCompress(strm, rlen ? BZ_RUN : BZ_FINISH);
  90                 if (ret != BZ_RUN_OK /* BZ_RUNning */
  91                  && ret != BZ_FINISH_OK /* BZ_FINISHing, but not done yet */
  92                  && ret != BZ_STREAM_END /* BZ_FINISHed */
  93                 ) {
  94                         bb_error_msg_and_die("internal error %d", ret);
  95                 }
  96
  97                 n = IOBUF_SIZE - strm->avail_out;
  98                 if (n) {
  99                         n2 = full_write(STDOUT_FILENO, wbuf, n);
 100                         if (n2 != n) {
 101                                 if (n2 >= 0)
 102                                         errno = 0; /* prevent bogus error message */
 103                                 bb_perror_msg(n2 >= 0 ? "short write" : bb_msg_write_error);
 104                                 return -1;
 105                         }
 106                 }
 107
 108                 if (ret == BZ_STREAM_END)
 109                         break;
 110                 if (rlen && strm->avail_in == 0)
 111                         break;
 112         }
 113         return 0 IF_DESKTOP( + strm->total_out );
 114 }
 115
 116 static
 117 IF_DESKTOP(long long) int FAST_FUNC compressStream(transformer_aux_data_t *aux UNUSED_PARAM)
 118 {
 119         IF_DESKTOP(long long) int total;
 120         ssize_t count;
 121         bz_stream bzs; /* it's small */
 122 #define strm (&bzs)
 123         char *iobuf;
 124 #define rbuf iobuf
 125 #define wbuf (iobuf + IOBUF_SIZE)
 126
 127         iobuf = xmalloc(2 * IOBUF_SIZE);
 128         BZ2_bzCompressInit(strm, level);
 129
 130         while (1) {
 131                 count = full_read(STDIN_FILENO, rbuf, IOBUF_SIZE);
 132                 if (count < 0) {
 133                         bb_perror_msg(bb_msg_read_error);
 134                         total = -1;
 135                         break;
 136                 }
 137                 /* if count == 0, bz_write finalizes compression */
 138                 total = bz_write(strm, rbuf, count, wbuf);
 139                 if (count == 0 || total < 0)
 140                         break;
 141         }
 142
 143         /* Can't be conditional on ENABLE_FEATURE_CLEAN_UP -
 144          * we are called repeatedly
 145          */
 146         BZ2_bzCompressEnd(strm);
 147         free(iobuf);
 148
 149         return total;
 150 }
 151
 152 int bzip2_main(int argc, char **argv) MAIN_EXTERNALLY_VISIBLE;
 153 int bzip2_main(int argc UNUSED_PARAM, char **argv)
 154 {
 155         unsigned opt;
 156
 157         /* standard bzip2 flags
 158          * -d --decompress force decompression
 159          * -z --compress force compression
 160          * -k --keep     keep (don't delete) input files
 161          * -f --force    overwrite existing output files
 162          * -t --test     test compressed file integrity
 163          * -c --stdout   output to standard out
 164          * -q --quiet    suppress noncritical error messages
 165          * -v --verbose  be verbose (a 2nd -v gives more)
 166          * -s --small    use less memory (at most 2500k)
 167          * -1 .. -9      set block size to 100k .. 900k
 168          * --fast        alias for -1
 169          * --best        alias for -9
 170          */
 171
 172         opt_complementary = "s2"; /* -s means -2 (compatibility) */
 173         /* Must match bbunzip's constants OPT_STDOUT, OPT_FORCE! */
 174         opt = getopt32(argv, "cfv" IF_BUNZIP2("dt") "123456789qzs");
 175 #if ENABLE_BUNZIP2 /* bunzip2_main may not be visible... */
 176         if (opt & 0x18) // -d and/or -t
 177                 return bunzip2_main(argc, argv);
 178         opt >>= 5;
 179 #else
 180         opt >>= 3;
 181 #endif
 182         opt = (uint8_t)opt; /* isolate bits for -1..-8 */
 183         opt |= 0x100; /* if nothing else, assume -9 */
 184         level = 1;
 185         while (!(opt & 1)) {
 186                 level++;
 187                 opt >>= 1;
 188         }
 189
 190         argv += optind;
 191         option_mask32 &= 0x7; /* ignore all except -cfv */
 192         return bbunpack(argv, compressStream, append_ext, "bz2");
 193 }