当前位置：首页 > backend >正文

Moses工具的配置和小语种平行语料训练SMT完整实现

backend 2025/8/13 14:36:53

文章目录

- 一、Moses开源工具安装与基础配置
- - 1.1 安装步骤
  - 1.2 基础配置
- 二、用小语料训练统计翻译模型完整实现
- - 2.1 准备平行语料
  - 2.2 训练流程
  - 2.3 测试翻译模型
  - 2.4 性能评估
  - 2.5 注意事项

一、Moses开源工具安装与基础配置

1.1 安装步骤

环境准备

# 安装依赖包（以Ubuntu为例）
sudo apt-get update
sudo apt-get install build-essential git subversion libboost-all-dev libxml2-dev \liblzma-dev python3-dev zlib1g-dev libbz2-dev libzstd-dev# 安装cmake（如果版本过低）
sudo apt-get install cmake

下载和编译Moses

# 克隆Moses代码仓库
git clone https://github.com/moses-smt/mosesdecoder.git
cd mosesdecoder# 编译Moses
make -f contrib/Makefiles/install-dependencies.gmake
./compile.sh

环境变量配置

# 添加到~/.bashrc
export MOSES_ROOT=/path/to/mosesdecoder
export PATH=$MOSES_ROOT/bin:$PATH
source ~/.bashrc

1.2 基础配置

moses-training/
├── corpus/          # 存放训练语料
├── model/           # 存放训练模型
├── working/         # 工作目录
└── moses.ini        # Moses配置文件

二、用小语料训练统计翻译模型完整实现

2.1 准备平行语料

# 创建训练目录
mkdir -p moses-training/corpus
cd moses-training/corpus# 准备示例小语种平行语料（这里以英语-世界语为例）
# source language (en)
cat > corpus.en << EOF
the cat sat on the mat
the dog ran fast
cats and dogs are pets
the weather is nice today
i like to read books
she went to the market
they are playing football
he bought a new car
we visited the museum
the children are sleeping
EOF# target language (eo - 世界语)
cat > corpus.eo << EOF
la kato sidis sur la mat
la hundo kuris rapide
katoj kaj hundoj estas dorlotbestoj
la vetero estas bela hodiau
mi sxatas legi librojn
sxi iris al la bazaro
ili ludas futbalon
li acxetis novan auxton
ni vizitis la muzeon
la infanoj dormas
EOF

2.2 训练流程

预处理语料

# Tokenization（分词）
$MOSES_ROOT/scripts/tokenizer/tokenizer.perl -l en < corpus.en > corpus.tok.en
$MOSES_ROOT/scripts/tokenizer/tokenizer.perl -l en < corpus.eo > corpus.tok.eo# 清理长度差异过大的句子对
$MOSES_ROOT/scripts/training/clean-corpus-n.perl corpus.tok en eo corpus.clean 1 80

训练语言模型

# 安装KenLM（语言模型工具）
git clone https://github.com/kpu/kenlm.git
cd kenlm
mkdir build && cd build
cmake ..
make -j4# 训练3-gram语言模型
cd ../../../moses-training
mkdir -p lm
cat corpus/corpus.tok.eo | $MOSES_ROOT/scripts/tokenizer/lowercase.perl > lm/eo.lowercase
kenlm/build/bin/lmplz -o 3 < lm/eo.lowercase > lm/eo.3gram.arpa

训练翻译模型

# 创建训练目录
mkdir -p working# 运行Moses训练脚本
nohup nice $MOSES_ROOT/scripts/training/train-model.perl \--root-dir working \--corpus corpus/corpus.clean \--f en --e eo \--alignment-file --lexical-file \--translation-f2e-file --translation-e2f-file \--cores 4 \>& training.out &

创建Moses配置文件

# 创建moses.ini配置文件
cat > moses.ini << EOF
#########################
### MOSES CONFIG FILE ###
########################## input factors
[input-factors]
0# mapping steps, either (T) translation or (G) generation
[mapping]
T 0[distortion-limit]
6# feature functions
[feature]
UnknownWordPenalty
WordPenalty
Distortion
PhraseDictionaryMemory name=TranslationModel0 table-limit=20: 0 0 0 0 path=working/model/phrase-table.gz
LexicalReordering name=LexicalReordering0 num-features=6 type=wbe-msd-bidirectional-fe-allff: 0 0 0 0 0 0 path=working/model/reordering-table.wbe-msd-bidirectional-fe.gz
KENLM name=LM0 factor=0 path=lm/eo.3gram.arpa order=3# dense weights for feature functions
[weight]
UnknownWordPenalty0= 1
WordPenalty0= -1
Distortion0= 0.3
LM0= 0.5
TranslationModel0= 0.2 0.2 0.2 0.2
LexicalReordering0= 0.3 0.3 0.3 0.3 0.3 0.3
EOF

2.3 测试翻译模型

# 使用训练好的模型进行翻译
echo "the cat sat on the mat" | \$MOSES_ROOT/scripts/tokenizer/tokenizer.perl -l en | \$MOSES_ROOT/bin/moses -f moses.ini | \$MOSES_ROOT/scripts/tokenizer/detokenizer.perl -l eo# 批量翻译测试
cat test.en | \$MOSES_ROOT/scripts/tokenizer/tokenizer.perl -l en | \$MOSES_ROOT/bin/moses -f moses.ini | \$MOSES_ROOT/scripts/tokenizer/detokenizer.perl -l eo > translation.eo

2.4 性能评估

# 使用BLEU评分评估翻译质量
# 准备参考译文
cat > reference.eo << EOF
la kato sidis sur la mat
la hundo kuris rapide
katoj kaj hundoj estas dorlotbestoj
EOF# 计算BLEU分数
$MOSES_ROOT/scripts/generic/multi-bleu.perl reference.eo < translation.eo