fixes mergeseq.cpp
authorPeng Wu <alexepico@gmail.com>
Wed, 9 Oct 2013 07:20:49 +0000 (15:20 +0800)
committerPeng Wu <alexepico@gmail.com>
Wed, 9 Oct 2013 07:20:49 +0000 (15:20 +0800)
utils/segment/mergeseq.cpp

index 1a26064..c428b9a 100644 (file)
@@ -32,7 +32,6 @@ void print_help(){
 }
 
 
-static gboolean gen_extra_enter = FALSE;
 static gchar * outputfile = NULL;
 
 static GOptionEntry entries[] =
@@ -269,6 +268,11 @@ int main(int argc, char * argv[]){
                   linebuf, output);
     }
 
+    /* append one null token for EOF. */
+    feed_line(&phrase_table, &phrase_index,
+              unichars, tokeninfos,
+              "0 ", output);
+
     g_array_free(unichars, TRUE);
     g_array_free(tokeninfos, TRUE);
     free(linebuf);