当前位置: 首页 > news >正文

pycharm远程连接服务器跑实验详细操作

pycharm远程连接服务器跑实验详细操作

  • 打开pycharm
  • 租借远程服务器
  • SSH连接
  • 浏览远程主机
  • FileZilla上传数据到数据盘
  • 跑实验
    • 修改代码后记得上传代码文件
    • 打开远程终端(建议在终端运行代码!)
  • 关于路径
  • 监控远程服务器的GPU

跑实验有一天突然电脑卡住了,我吓了一跳,想起之前学长说的不要用自己笔记本电脑跑实验容易把电脑跑坏!!!游戏本虽然能跑,但是很慢不说显卡也挺脆的,跑坏了很麻烦,还是用远程服务器跑吧!!!自己的电脑就留着调试debug用!!!

打开pycharm

由于pycharm太笨重了,所以打开时选择当前要运行的项目即可,不要打开包含多个项目的大文件夹!!!
!!!注意连接远程服务器前,最好把这个项目拷贝一个副本,命名为project_remote,数据集和预处理后的训练集测试集都不要放在里面!数据集用FileZilla上传到数据盘更好更快点!!!
在这里插入图片描述

租借远程服务器

从autodl算力平台官网上租借一个服务器,选择基础镜像,选择需要的torch和cuda版本,这个是我租的详细介绍:(1.98一小时还挺贵的)

在这里插入图片描述

SSH连接

pycharm打开本地项目project_remote后,先上传代码的话选择无卡模式开机,节约钱!!!然后打开pycharm的SSH连接,输入用户/主机/端口/密码,并创建环境,选择同步到远程主机的文件夹目录
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
点击创建新环境要等一会
在这里插入图片描述
这样就创建好了新的环境!pycharm会更新又需要等一会
在这里插入图片描述

浏览远程主机

点击:工具→部署→浏览远程主机
在这里插入图片描述
在这里插入图片描述
这里可以看到远程主机同步的文件夹,我发现没有数据集,这个文件夹500MB同步也挺慢的!!!

FileZilla上传数据到数据盘

在这里插入图片描述

根据autoDL官网的帮助文档,下载并安装FileZilla
在这里插入图片描述
在这里插入图片描述
点击连接,允许就可以连上远程主机了
在这里插入图片描述
这里选择root/autodl-tmp 这个是数据盘,可以新建一个data文件夹存放自己的数据,把数据放在这个数据盘里面更好!!!这样不容易崩系统盘!!!
数据存放路径:/root/autodl-tmp/data

在这里插入图片描述

然后从本地选择想要上传的数据集后,右键上传到远程服务器即可
在这里插入图片描述
白天上传速度挺慢的,最好晚上上传!!!

跑实验

因为刚刚上传数据是无卡模式开机,所以先要关机再重新开机!!!
关机后重新开机没有空闲GPU的话,可以克隆实例,选择另一台设备:
在这里插入图片描述
克隆还是挺快的,主机/端口号会变化
所以还是同样的SSH连接重复操作一遍,这里可以选择现有的环境,但是文件夹也需要同步(可以选择之前已经同步过的文件夹,实例克隆之后已经复制过去了):
在这里插入图片描述
这里可以查看新的连接是否成功:
在这里插入图片描述

修改代码后记得上传代码文件

在这里插入图片描述

打开远程终端(建议在终端运行代码!)

在这里插入图片描述在这里插入图片描述

在这里插入图片描述
一定要选择正确的端口号和主机!!!

以下都在远程终端运行:

# 一键安装依赖包
pip install -r requirements.txt
# 读取数据盘中的数据集
data = pd.read_csv('/root/autodl-tmp/data/ASSISTments/anonymized_full_release_competition_dataset.csv')
# 运行数据预处理文件
cd /tmp/MyKT_remote0806/preprocess
python prepare_Assist2017.py

关于路径

当前的执行命令是:

cd /tmp/MyKT_remote0806
python run/MyKT/run_Assist2017.py

这相当于从 MyKT_remote0806/ 目录启动脚本,而此时 Python 默认的 sys.path[0] 是 run/MyKT/,不是项目根目录 /tmp/MyKT_remote0806/

方法 1:在run_Assist2017.py脚本中动态添加项目根目录到 sys.path(推荐)

import sys
import os
# 添加项目根目录(如 /tmp/MyKT_remote0806)
sys.path.append(os.path.abspath(os.path.join(os.path.dirname(__file__), '../../')))

方法 2:使用 -m 参数从项目根目录运行(更专业)(远程服务器跑脚本推荐这个)
从项目根目录 /tmp/MyKT_remote0806/ 运行脚本,并使用模块方式:

cd /tmp/MyKT_remote0806
python -m run.MyKT.run_Assist2017

⚠️ 注意事项:

必须确保 models/、run/ 等目录中有 __ init __.py 文件(可以是空文件),否则不会被识别为模块包

这里我使用的方法2!!!
注意 run_Assist2017 脚本中路径都会变成根目录 MyKT_remote0806 ,所有读取文件的路径也需要对应上从根目录开始!!!

现在就开始训练了:
在这里插入图片描述

监控远程服务器的GPU

可以打开jupyterlab
在这里插入图片描述
在终端输入:

nvidia-smi -l 5

就可以看到GPU的使用情况了,确实比自己的笔记本跑的快!!!
在这里插入图片描述

http://www.xdnf.cn/news/1297297.html

相关文章:

  • Go语言实战案例:简易图像验证码生成
  • Java 设计模式-组合模式
  • Vscode的wsl环境开发ESP32S3的一些问题总结
  • 在 Windows 系统中解决 Git 推送时出现的 Permission denied (publickey) 错误,请按照以下详细步骤操作:
  • 宋红康 JVM 笔记 Day01|JVM介绍
  • [工具]vscode 使用AI 优化代码
  • 使用EvalScope对GPT-OSS-20B进行推理性能压测实战
  • 【完整源码+数据集+部署教程】肾脏病变实例分割系统源码和数据集:改进yolo11-CARAFE
  • 自动化运维实验(二)---自动识别设备,并导出配置
  • AM32电调学习-使用Keil编译uboot
  • 搭建局域网yum源仓库全流程
  • 华为实验 链路聚合
  • GoLand 项目从 0 到 1:第八天 ——GORM 命名策略陷阱与 Go 项目启动慢问题攻坚
  • 更新pip及Python软件包的完整指南
  • STM32HAL 快速入门(七):GPIO 输入之光敏传感器控制蜂鸣器
  • 第3节 深度学习避坑指南:从过拟合到玄学优化
  • 92、23种设计模式-单例模式
  • 【软考架构】信息安全基础知识
  • 考研408《计算机组成原理》复习笔记,第五章(1)——CPU功能和结构
  • 云原生存储架构设计与性能优化
  • 【深度学习计算性能】04:硬件
  • CTFSHOW | nodejs题解 web334 - web344
  • 主进程如何将客户端连接分配到房间进程
  • 数巅中标中建科技AI知识库项目,开启建筑业数智化新篇章
  • 项目日志框架与jar中日志框架冲突 解决
  • MFC的使用——使用ChartCtrl绘制曲线
  • DataHub IoT Gateway:工业现场设备与云端平台安全互联的高效解决方案
  • 使用HalconDotNet实现异步多相机采集与实时处理
  • 零信任架构(Zero Trust Architecture, ZTA)(通过动态验证和最小权限控制,实现对所有访问请求的严格授权和持续监控)
  • Kafka消费者组