首次中医知识问答模型微调

1.微调目标模型

DeepSeek-R1-Distill-7B

2.数据准备

数据集SylvanL/Traditional-Chinese-Medicine-Dataset-SFT中的部分数据，微调时总计使用150000

3.训练平台及参数变化观察平台

LLaMA-Factory、TensorBoard

4.训练参数

llamafactory-cli train \

    --stage sft \

    --do_train True \

    --model_name_or_path /home/qhyz/zxy/LLaMA-Factory/model \

    --preprocessing_num_workers 16 \

    --finetuning_type lora \

    --template alpaca \

    --rope_scaling dynamic \

    --flash_attn fa2 \

    --dataset_dir data \

    --dataset SFT_medicalKnowledge_source1_548404,SFT_medicalKnowledge_source2_99334,SFT_medicalKnowledge_source3_556540 \

    --cutoff_len 1048 \

    --learning_rate 0.00025 \

    --num_train_epochs 3.0 \

    --max_samples 50000 \

    --per_device_train_batch_size 2 \

    --gradient_accumulation_steps 12 \

    --lr_scheduler_type cosine \

    --max_grad_norm 1.0 \

    --logging_steps 10 \

    --save_steps 100 \

    --warmup_steps 20 \

    --packing True \

    --neat_packing True \

    --report_to tensorboard --logging_dir single_lora_qwen_log\

    --output_dir saves/DeepSeek-R1-7B-Distill/lora/train_2025-05-20-08-33-51 \

    --bf16 True \

    --plot_loss True \

    --trust_remote_code True \

    --ddp_timeout 180000000 \

    --include_num_input_tokens_seen True \

    --optim adamw_torch \

    --lora_rank 8 \

    --lora_alpha 16 \

    --lora_dropout 0.1 \

    --loraplus_lr_ratio 3 \

    --create_new_adapter True \

    --use_dora True \

    --lora_target q_proj,v_proj \

    --val_size 0.03 \

    --eval_strategy steps \

    --eval_steps 100 \

    --per_device_eval_batch_size 2 \

--deepspeed cache/ds_z2_config.json

6.训练过程截图

7.参数变化截图

10.服务器

在6卡的4090服务器上进行训练