src/slm/sim_slm.cpp

   1 /*
   2  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS HEADER.
   3  *
   4  * Copyright (c) 2007 Sun Microsystems, Inc. All Rights Reserved.
   5  *
   6  * The contents of this file are subject to the terms of either the GNU Lesser
   7  * General Public License Version 2.1 only ("LGPL") or the Common Development and
   8  * Distribution License ("CDDL")(collectively, the "License"). You may not use this
   9  * file except in compliance with the License. You can obtain a copy of the CDDL at
  10  * http://www.opensource.org/licenses/cddl1.php and a copy of the LGPLv2.1 at
  11  * http://www.opensource.org/licenses/lgpl-license.php. See the License for the
  12  * specific language governing permissions and limitations under the License. When
  13  * distributing the software, include this License Header Notice in each file and
  14  * include the full text of the License in the License file as well as the
  15  * following notice:
  16  *
  17  * NOTICE PURSUANT TO SECTION 9 OF THE COMMON DEVELOPMENT AND DISTRIBUTION LICENSE
  18  * (CDDL)
  19  * For Covered Software in this distribution, this License shall be governed by the
  20  * laws of the State of California (excluding conflict-of-law provisions).
  21  * Any litigation relating to this License shall be subject to the jurisdiction of
  22  * the Federal Courts of the Northern District of California and the state courts
  23  * of the State of California, with venue lying in Santa Clara County, California.
  24  *
  25  * Contributor(s):
  26  *
  27  * If you wish your version of this file to be governed by only the CDDL or only
  28  * the LGPL Version 2.1, indicate your decision by adding "[Contributor]" elects to
  29  * include this software in this distribution under the [CDDL or LGPL Version 2.1]
  30  * license." If you don't indicate a single choice of license, a recipient has the
  31  * option to distribute your version of this file under either the CDDL or the LGPL
  32  * Version 2.1, or to extend the choice of license to its licensees as provided
  33  * above. However, if you add LGPL Version 2.1 code and therefore, elected the LGPL
  34  * Version 2 license, then the option applies only if the new code is made subject
  35  * to such option by the copyright holder.
  36  */
  37
  38 #include <stdio.h>
  39 #include <math.h>
  40
  41 #include "sim_slm.h"
  42
  43 bool
  44 CSIMSlm::Load(const char* fname)
  45 {
  46     bool suc = false;
  47     FILE* fp = fopen(fname, "rb");
  48     if (fp != NULL && fread(&N, sizeof(N), 1, fp) == 1 &&
  49         fread(&bUseLogPr, sizeof(bUseLogPr), 1, fp) == 1) {
  50         sz = new int[N + 1];
  51         level = new void* [N + 1];
  52         fread(sz, sizeof(int), N + 1, fp);
  53         for (int lvl = 0; lvl <= N; ++lvl) {
  54             if (lvl < N) {
  55                 level[lvl] = new TNode [sz[lvl]];
  56                 fread(level[lvl], sizeof(TNode), sz[lvl], fp);
  57             } else {
  58                 level[lvl] = new TLeaf [sz[lvl]];
  59                 fread(level[lvl], sizeof(TLeaf), sz[lvl], fp);
  60             }
  61         }
  62         suc = true;
  63     }
  64     fclose(fp);
  65     return suc;
  66 }
  67
  68 void
  69 CSIMSlm::Free()
  70 {
  71     delete [] sz;
  72     for (int lvl = 0; lvl <= N; ++lvl) {
  73         if (lvl == N)
  74             delete [] ((TLeaf*)level[lvl]);
  75         else
  76             delete [] ((TNode*)level[lvl]);
  77     }
  78     level = NULL;
  79     sz = NULL;
  80     bUseLogPr = 0;
  81     N = 0;
  82 }
  83
  84 double
  85 CSIMSlm::getNegLogPr(int n, TSIMWordId* hw)
  86 {
  87     double val = (bUseLogPr) ? (getPrAsLog(n, hw)) : (getPrDirect(n, hw));
  88     return (bUseLogPr) ? (val) : (-log(val));
  89 }
  90
  91 double
  92 CSIMSlm::getPr(int n, TSIMWordId* hw)
  93 {
  94     double val = (bUseLogPr) ? (getPrAsLog(n, hw)) : (getPrDirect(n, hw));
  95     return (bUseLogPr) ? (exp(-val)) : (val);
  96 }
  97
  98 /**
  99  * Only used when this model using -log(pr) value, also
 100  * the return value is also -log(pr) value
 101  */
 102 double
 103 CSIMSlm::getPrAsLog(int n, TSIMWordId* hw)
 104 {
 105     void* pstate = ((TNode*)level[0]);
 106     double bow = 0.0;
 107     if (n > N) {
 108         hw += (N - n);
 109         n = N;
 110     }
 111     for (int lvl = 0; lvl < n && pstate != NULL; ++lvl) {
 112         int h = ((TNode*)pstate)->child;
 113         int t = (((TNode*)pstate) + 1)->child;
 114         if (lvl == n - 1)
 115             bow = ((TNode*)pstate)->bow;
 116         if (lvl == N - 1) {
 117             TLeaf* p = (TLeaf*)level[lvl + 1];
 118             pstate = (void*)binary_find_id(p + h, p + t, hw[lvl]);
 119         } else {
 120             TNode* p = (TNode*)level[lvl + 1];
 121             pstate = (void*)binary_find_id(p + h, p + t, hw[lvl]);
 122         }
 123     }
 124     if (pstate == NULL) {
 125         return bow + getPrAsLog(n - 1, hw + 1);
 126     } else {
 127         return ((TLeaf*)pstate)->pr;  // as we derive TNode from TLeaf
 128     }
 129 }
 130
 131 /**
 132  * Only used when this model using direct pr value, also
 133  * the return value is also direct pr value.
 134  */
 135 double
 136 CSIMSlm::getPrDirect(int n, TSIMWordId* hw)
 137 {
 138     void* pstate = ((TNode*)level[0]);
 139     double bow = 1.0;
 140     if (n > N) {
 141         hw += (N - n);
 142         n = N;
 143     }
 144     for (int lvl = 0; lvl < n && pstate != NULL; ++lvl) {
 145         int h = ((TNode*)pstate)->child;
 146         int t = (((TNode*)pstate) + 1)->child;
 147         if (lvl == n - 1)
 148             bow = ((TNode*)pstate)->bow;
 149         if (lvl == N - 1) {
 150             TLeaf* p = (TLeaf*)level[lvl + 1];
 151             pstate = (void*)binary_find_id(p + h, p + t, hw[lvl]);
 152         } else {
 153             TNode* p = (TNode*)level[lvl + 1];
 154             pstate = (void*)binary_find_id(p + h, p + t, hw[lvl]);
 155         }
 156     }
 157     if (pstate == NULL) {
 158         return bow * getPrDirect(n - 1, hw + 1);
 159     } else {
 160         return ((TLeaf*)pstate)->pr;  // as we derive TNode from TLeaf
 161     }
 162 }