write reduce_tokens

fixes utils helper

clean up code

update utils helper

update eval correction rate

update gen k mixture model

update gen deleted ngram

update gen ngram

clean up gen unigram

update data/Makefile.am

update ngseg

update tag utility

update utils helper

update k mixture model to interpolation

update import k mixture model

update import interpolation

update tag utility

update export k mixture model

update export interpolation

bump version 0.8.91

bump version 0.7.92

fixes memory leak in test pinyin

fixes memory leak in pinyin.cpp

fixes memory leak in test pinyin lookup

fixes memory leak in facade chewing table

fixes memory leak in facade phrase table2

fixes memory leak in test chewing table

fixes memory leak in chewing large table

fixes memory leak in phrase large table2

re-factor phrase lookup

fixes test_parser2 again

fixes memory leak in test_parser2

fixes memory leak in test_ngram

fixes memory leak in test_memory_chunk

detect corrupted phrase index log file

improves test_pinyin output

Merge remote-tracking branch 'libpinyin/master'

Merge pull request #28 from maxiaojun/master

Fix CMakeLists.txt

Fix CMakeLists.txt

minor fixes again

minor fixes

minor fix

bump version 0.7.91

fixes code

re-factor phrase_lookup.cpp

re-factor pinyin_lookup2.cpp

update final_step

improves get_best_match

improves autoconf

remove pinyin_lookup.*

remove winner_tree.*

turn off dump functions

use pinyin lookup2

fixes a typo

write pinyin_lookup2.*

write get_best_match

fixes get_best_match

write search_unigram2 and search_bigram2

write get_best_match

begin to write pinyin lookup2

write aux functions for pinyin lookup2

add dump methods

fixes compile

begin to write pinyin_lookup2.cpp

write pinyin_lookup2.h

remove duplicated defines

refactor k_mixture_model_to_interpolation.cpp

fixes export_k_mixture_model.cpp

write TAGLIB_GET_TAGVALUE

write TAGLIB_GET_VALUE

update import_k_mixture_model.cpp

update import_interpolation.cpp

fixes ngseg.cpp

remove phrase_large_table.*

update test cases

add clear_tokens call

enhance test_phrase_table.cpp

refactor code

remove facade_phrase_table.h

add clear_ranges/clear_tokens back

add assert to get_first_token

fixes phrase_index.h

update Makefile.am

update gen_ngram.cpp

update eval_correction_rate.cpp

update gen_k_mixture_model.cpp

update import_k_mixture_model.cpp

update gen_ngram.cpp

update gen_deleted_ngram.cpp

fixes test_phrase_table.cpp

polish gen_binary_files.cpp

update utils/storage

update tag utility

update segment to use phrase table ver2

update tests to use phrase table ver2

update pinyin.cpp to use phrase table ver2

update PhraseLookup

fixes facade_phrase_table2.h

write get_first_token

write prepare/destroy tokens