src/slm/ids2ngram/idngram_merge.cpp

   1 /*
   2  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS HEADER.
   3  *
   4  * Copyright (c) 2007 Sun Microsystems, Inc. All Rights Reserved.
   5  *
   6  * The contents of this file are subject to the terms of either the GNU Lesser
   7  * General Public License Version 2.1 only ("LGPL") or the Common Development and
   8  * Distribution License ("CDDL")(collectively, the "License"). You may not use this
   9  * file except in compliance with the License. You can obtain a copy of the CDDL at
  10  * http://www.opensource.org/licenses/cddl1.php and a copy of the LGPLv2.1 at
  11  * http://www.opensource.org/licenses/lgpl-license.php. See the License for the
  12  * specific language governing permissions and limitations under the License. When
  13  * distributing the software, include this License Header Notice in each file and
  14  * include the full text of the License in the License file as well as the
  15  * following notice:
  16  *
  17  * NOTICE PURSUANT TO SECTION 9 OF THE COMMON DEVELOPMENT AND DISTRIBUTION LICENSE
  18  * (CDDL)
  19  * For Covered Software in this distribution, this License shall be governed by the
  20  * laws of the State of California (excluding conflict-of-law provisions).
  21  * Any litigation relating to this License shall be subject to the jurisdiction of
  22  * the Federal Courts of the Northern District of California and the state courts
  23  * of the State of California, with venue lying in Santa Clara County, California.
  24  *
  25  * Contributor(s):
  26  *
  27  * If you wish your version of this file to be governed by only the CDDL or only
  28  * the LGPL Version 2.1, indicate your decision by adding "[Contributor]" elects to
  29  * include this software in this distribution under the [CDDL or LGPL Version 2.1]
  30  * license." If you don't indicate a single choice of license, a recipient has the
  31  * option to distribute your version of this file under either the CDDL or the LGPL
  32  * Version 2.1, or to extend the choice of license to its licensees as provided
  33  * above. However, if you add LGPL Version 2.1 code and therefore, elected the LGPL
  34  * Version 2 license, then the option applies only if the new code is made subject
  35  * to such option by the copyright holder.
  36  */
  37
  38 #ifdef HAVE_CONFIG_H
  39 #include "config.h"
  40 #endif
  41
  42 #ifdef HAVE_ASSERT_H
  43 #include <assert.h>
  44 #endif
  45
  46 #ifdef HAVE_GETOPT_H
  47 #include <getopt.h>
  48 #endif
  49
  50 #include <stdio.h>
  51 #include <vector>
  52 #include <algorithm>
  53
  54 #include "../sim_fmerge.h"
  55 #include "idngram.h"
  56 #include "idngram_merge.h"
  57
  58 static struct option long_options[] =
  59 {
  60     { "NMax", 1, 0, 'n' },
  61     { "out", 1, 0, 'o' },
  62     { 0, 0, 0, 0 }
  63 };
  64
  65 static int N = 0;
  66 // static int paraMax = 0;
  67 static char* output = NULL;
  68 // static char* swapfile = NULL;
  69
  70 void
  71 ShowUsage()
  72 {
  73     printf("Usage:\n\tidngram_merge options idngramfile[ idngramfile...]\n");
  74     printf("\nDescription:\n");
  75     printf(
  76         "   This program merge multiple idngram file, each of them are sorted [id1,...,idN,freq] array, into one idngram file. For those id1..idN which appear in more than one files, only one item appear in the final file, and its freq are sumed.\n");
  77     printf("\nOptions:\n");
  78     printf("\t  -n N           # N-gram\n");
  79     printf("\t  -o outputfile  # finale merged idngram file\n");
  80     printf("\nExample:\n");
  81     printf("   Following example merge 2 id3gram files into a large one:\n");
  82     printf(
  83         "\tidngram_merge -n3 -o all.id3gram first.id3gram second.id3gram\n\n");
  84 }
  85
  86 static void
  87 getParameters(int argc, char* const argv[])
  88 {
  89     int option_index = 0;
  90     int c;
  91     while ((c =
  92                 getopt_long(argc, argv, "n:o:", long_options,
  93                             &option_index)) != -1) {
  94         switch (c) {
  95         case 'n':
  96             N = atoi(strdup(optarg));
  97             break;
  98         case 'o':
  99             output = strdup(optarg);
 100             break;
 101         default:
 102             ShowUsage();
 103             exit(1000);
 104         }
 105     }
 106     if (N < 1 || N > 3 || output == NULL) {
 107         ShowUsage();
 108         exit(1000);
 109     }
 110 }
 111
 112 int
 113 main(int argc, char* argv[])
 114 {
 115     getParameters(argc, argv);
 116     FILE *out = fopen(output, "wb+");
 117     std::vector<FILE* > idngram_files;
 118
 119     if (optind >= argc) ShowUsage();
 120     while (optind < argc) {
 121         printf("Open %s:...", argv[optind]);
 122         FILE *fp = fopen(argv[optind++], "rb");
 123         if (fp == NULL) {
 124             printf("error!\n");
 125             exit(200);
 126         }
 127         idngram_files.push_back(fp);
 128         printf("\n");
 129     }
 130     printf("Merging...");
 131     switch (N) {
 132     case 1:
 133         ProcessingIdngramMerge<1>(out, idngram_files);
 134         break;
 135     case 2:
 136         ProcessingIdngramMerge<2>(out, idngram_files);
 137         break;
 138     case 3:
 139         ProcessingIdngramMerge<3>(out, idngram_files);
 140         break;
 141     }
 142     printf("\n");
 143     fclose(out);
 144     for (size_t i = 0; i < idngram_files.size(); i++)
 145         fclose(idngram_files[i]);
 146     return 0;
 147 }
 148