doc/slmseg.pod

   1 =head1 NAME
   2
   3 slmseg - maximum matching segment Chinese text.
   4
   5 =head1 SYNOPSIS
   6
   7 B<slmseg> -d I<dict_file> [I<option>]... [I<corpus_file>]...
   8
   9 =head1 DESCRIPTION
  10
  11 B<slmseg> is a tool for segmenting Chinese text into words using maximum matching algorithm. B<slmseg> segments I<corpus_file>, or standard input if no filename is specified, and write the segmented result to standard output.
  12
  13
  14 =head1 OPTIONS
  15
  16 =over 4
  17
  18 =item B<-d> I<dict_file>
  19
  20 Use I<dict_file> as lexicon. A default lexicon can be found at F</usr/share/sunpinyin-slm/dict.utf8>.
  21
  22
  23 =item B<-f>,B<--format> (B<text>|B<bin>)
  24
  25 Output Format, can be 'text' or 'bin'. default 'bin'.
  26 Normally, in text mode, word text are output, while in binary mode,
  27 binary short integer of the word-ids are written to stdout.
  28
  29
  30 =item B<-s>, B<--stok> I<STOK_ID>
  31
  32 Sentence token id. Default 10.
  33 It will be written to output in binary mode after every sentence.
  34
  35
  36 =item B<-i>, B<--show-id>
  37
  38 Show Id info. Under text output format mode, attach id after known words.
  39 If under binary mode, print id(s) in text.
  40
  41
  42 =item B<-m>, B<--model> I<language-model-file>
  43 Speficy the language model file. This file is always generated by B<slmthread>.
  44
  45 =back
  46
  47
  48 =head1 NOTES
  49
  50 Under B<binary> mode, consecutive id of 0 are merged into one 0.
  51 Under B<text> mode, no space are inserted between unknown-words.
  52
  53 =head1 AUTHOR
  54
  55 Originally written by Phill.Zhang E<lt>phill.zhang@sun.comE<gt>.
  56 Currently maintained by Kov.Chai E<lt>tchaikov@gmail.comE<gt>.
  57
  58 =head1 SEE ALSO
  59
  60 B<mmseg>(1), B<ids2ngram> (1).
  61