高校版本安装部署指南

快速理解要求

  1. 问：如果我们给每个学生16G内存，一共120人同时上课，是否意味着需要1920G的系统总内存，如果使用4台服务器集群的话，每台需要480G以上的系统内存，粗略这样计算，是这个概念吗？

答：是的。但是学生可以分组，比如5个学生一个账号，这样只需1／5的内存资源；此外，我们还额外需要少量内存，如每台服务器上操作系统、She平台部署主节点、私有云的从节点等，但平均下来每台服务器不会超过16G内存。

  1. 问：我看您对其他资源没有特殊要求。网络方面有要求吗？

答：没有，因为现有的服务器都会配置多块万兆网卡，She平台只需要一块即可(可以使用两块网卡进行性能优化)。She平台主要的需求是内存；但是，如果部署在本校内的She平台，需要让学生在校园网内可访问、如宿舍，则需要向本校网络中心申请固定IP地址。

  1. 问：还有就是最好不要ARM服务器，是这个意思吧？

答：必须是X86的，也可以是国产兼容X86的，但ARM服务器不行；不久会支持RISC-V。

  1. 问：服务器是Windows Server操作系统可以吗？

答：我们会将服务器格式化重装，安装Linux操作系统，如Ubuntu Server，然后在此系统上部署She平台。

  1. 问：一台服务器可以吗？

答：可以，但是最好是两台服务器，其中一台服务器部署离线资源，但这台部署离线资源的服务器不需要配置太高，如32G内存、1T磁盘就够用了。

  1. 问：可以同时虚拟出Windows和Linux吗？

答：可以的，每台虚拟机的内存可以选定，比如4G、8G等。

  1. 问：最终部署了哪些软件？

答：参考She平台手册 中 "She平台分层架构","She平台组件架构","主界面集成其他平台地址"章节。在"主界面集成其他平台地址"中，

4、AI flow：基于kubeflow的机器学习炼丹炉。

7、Git Repository：She平台的git服务器，其地址与当前部署相关。She平台的各个高校的私有化部署中，这个按钮指向当前自己的私有化部署；但也有可能私有化部署环境中没有部署这个系统。

8、File Server：She平台的文件服务器(支持wget下载)，其地址与当前部署相关。She平台的各个高校的私有化部署中，这个按钮指向当前自己的私有化部署；但也有可能私有化部署环境中没有部署这个系统。

9、LMS：学习管理（教学）平台，其地址与当前部署相关。She平台的各个高校的私有化部署中，这个按钮指向当前自己的私有化部署；但也有可能私有化部署环境中没有部署这个系统。

为可选配置的集成组件。

  1. 问：没有RAID卡可以吗？

答：可以。如果有多块磁盘，硬件RAID解决方案速度快、稳定性好，可以有效地提供高水平的硬盘可用性和冗余度；但是也可以软件RAID代替，由于我们的系统是教研系统，性能上也可以满足。

安装部署环境要求

1、服务器推荐X86物理机，ARM架构的物理机不满足要求(使用AMR服务器上模拟X86会极大的降低服务器性能，不推荐采用)；如果采用VMWare虚拟化则有一部分课程不能安装。

2、She平台本身对服务器的配置没有特殊要求，8核32G内存2T磁盘就够用了。

需要根据并行上课的学生数、使用的课程来决定需要多大的计算服务器资源(算力)。

比如说加载了大数据的全栈集群的课程实训环境，每个学生至少需要32G内存(此时CPU的要求并不是那么严格、磁盘通常都能满足)；做数据库实验、Linux操作系统实验，每个学生只需要4G内存；单节点大数据实验，每个学生只需要8G内存。

所以，我们可以根据学生数 x 32G内存来决定投放多少算力。如果据此计算，学校的算力不够，则可以使用以下解决方案：

1）、学生分组，一个组共用一个账号（这个账号可由老师/管理员预先创建）。

2）、先安装，由少量的学生实训、创新项目使用，等有了新的算力服务器时，只需要将新的算力服务器加入She平台即可、She平台不需要重装且之前运行的workspace也不受影响。

3、所以需要服务器资源总量：{并行使用账号数量(学生数量) + 1 } x 32G内存, >=2T磁盘 即可，其中需要服务器资源总量是指所有服务器加起来的总量，She平台对服务器的数量没有要求，一台也可以，但最好是不少于两台、这样可以部署git/文件服务器。

高校版本安装部署指南

快速理解要求

  1. 问：如果我们给每个学生16G内存，一共120人同时上课，是否意味着需要1920G的系统总内存，如果使用4台服务器集群的话，每台需要480G以上的系统内存，粗略这样计算，是这个概念吗？

答：是的。但是学生可以分组，比如5个学生一个账号，这样只需1／5的内存资源；此外，我们还额外需要少量内存，如每台服务器上操作系统、She平台部署主节点、私有云的从节点等，但平均下来每台服务器不会超过16G内存。

  1. 问：我看您对其他资源没有特殊要求。网络方面有要求吗？

答：没有，因为现有的服务器都会配置多块万兆网卡，She平台只需要一块即可(可以使用两块网卡进行性能优化)。She平台主要的需求是内存；但是，如果部署在本校内的She平台，需要让学生在校园网内可访问、如宿舍，则需要向本校网络中心申请固定IP地址。

  1. 问：还有就是最好不要ARM服务器，是这个意思吧？

答：必须是X86的，也可以是国产兼容X86的，但ARM服务器不行；不久会支持RISC-V。

  1. 问：服务器是Windows Server操作系统可以吗？

答：我们会将服务器格式化重装，安装Linux操作系统，如Ubuntu Server，然后在此系统上部署She平台。

  1. 问：一台服务器可以吗？

答：可以，但是最好是两台服务器，其中一台服务器部署离线资源，但这台部署离线资源的服务器不需要配置太高，如32G内存、1T磁盘就够用了。

  1. 问：可以同时虚拟出Windows和Linux吗？

答：可以的，每台虚拟机的内存可以选定，比如4G、8G等。

  1. 问：最终部署了哪些软件？

答：参考She平台手册 中 "She平台分层架构","She平台组件架构","主界面集成其他平台地址"章节。在"主界面集成其他平台地址"中，

4、AI flow：基于kubeflow的机器学习炼丹炉。

7、Git Repository：She平台的git服务器，其地址与当前部署相关。She平台的各个高校的私有化部署中，这个按钮指向当前自己的私有化部署；但也有可能私有化部署环境中没有部署这个系统。

8、File Server：She平台的文件服务器(支持wget下载)，其地址与当前部署相关。She平台的各个高校的私有化部署中，这个按钮指向当前自己的私有化部署；但也有可能私有化部署环境中没有部署这个系统。

9、LMS：学习管理（教学）平台，其地址与当前部署相关。She平台的各个高校的私有化部署中，这个按钮指向当前自己的私有化部署；但也有可能私有化部署环境中没有部署这个系统。

为可选配置的集成组件。

  1. 问：没有RAID卡可以吗？

答：可以。如果有多块磁盘，硬件RAID解决方案速度快、稳定性好，可以有效地提供高水平的硬盘可用性和冗余度；但是也可以软件RAID代替，由于我们的系统是教研系统，性能上也可以满足。

安装部署环境要求

1、服务器推荐X86物理机，ARM架构的物理机不满足要求(使用AMR服务器上模拟X86会极大的降低服务器性能，不推荐采用)；如果采用VMWare虚拟化则有一部分课程不能安装。

2、She平台本身对服务器的配置没有特殊要求，8核32G内存2T磁盘就够用了。

需要根据并行上课的学生数、使用的课程来决定需要多大的计算服务器资源(算力)。

比如说加载了大数据的全栈集群的课程实训环境，每个学生至少需要32G内存(此时CPU的要求并不是那么严格、磁盘通常都能满足)；做数据库实验、Linux操作系统实验，每个学生只需要4G内存；单节点大数据实验，每个学生只需要8G内存。

所以，我们可以根据学生数 x 32G内存来决定投放多少算力。如果据此计算，学校的算力不够，则可以使用以下解决方案：

1）、学生分组，一个组共用一个账号（这个账号可由老师/管理员预先创建）。

2）、先安装，由少量的学生实训、创新项目使用，等有了新的算力服务器时，只需要将新的算力服务器加入She平台即可、She平台不需要重装且之前运行的workspace也不受影响。

3、所以需要服务器资源总量：{并行使用账号数量(学生数量) + 1 } x 32G内存, >=2T磁盘 即可，其中需要服务器资源总量是指所有服务器加起来的总量，She平台对服务器的数量没有要求，一台也可以，但最好是不少于两台、这样可以部署git/文件服务器。

She平台操作系统安装指导材料

Ubuntu18.04

操作系统版本

安装Ubuntu18.04.6，官方安装iso文件地址： http://cdimage.ubuntu.com/ubuntu/releases/18.04/release/ubuntu-18.04.6-server-amd64.iso

注意，不要选择live版本的iso镜像；可启动U盘刻录选择ubuntu推荐的工具Win32DiskImager，而不能选择刻录Windows等镜像的Universal-USB-Installer，后者安装是选择网络下载模式、或者说boot没有链接到U盘中的离线安装包。

操作系统安装

1、操作系统安装的注意事项：

1）. 语言选择为英语

2）. 软件包只选择OpenSSH server

3）. 根据实际情况选择磁盘的配置、如RAID、LVM

2、操作系统配置

以下所有IP地址相关配置仅为松鼠学苑测试环境配置案例，请根据校方的实际情况设置。

1）设置root的密码Yhf_1018。

注：用户密码需设置相同的密码，且只能包含数字、大小写字母、下划线；校方在She平台安装完毕后可再分别重置每台服务器的密码。

在这里插入图片描述

2）使用静态IP地址配置、注意缩进关系。

不要使用search/domain配置参数。ifconfig -a 可以查看所有网卡情况；netplan try/netplan apply。

root@ubuntu:~# vi /etc/netplan/01-netcfg.yaml

在这里插入图片描述

3）修改hostname。

hostname设置为k8sNode1、k8sNode2…，任意两台服务器的hostname不能相同。

root@ubuntu:~# vi /etc/hostname

k8sNode1

4）关闭交换分区。

在这里插入图片描述

在这里插入图片描述

5）修改OpenSSH server的配置文件。

在配置文件/etc/ssh/sshd_config中，要求打开并修改对应配置：

PermitRootLogin yes

注：使用vi的查找模式找到对应配置，然后修改。

配置立即生效：systemctl restart sshd

在这里插入图片描述

连接性要求

安装完成后，通过XShell、SecureCRT等工具可以快速（3秒之内）连接到服务器。

可恢复性要求

安装配置完成后的操作系统可一键恢复

附件-在虚拟机安装过程截图参考

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

学苑网课中心

松鼠学苑发展历程

在这里插入图片描述

主营业务

在这里插入图片描述

She教研解决方案

1、远端浏览器，从Google、GitHub、Maven等获取技术资源不再有羁绊。

2、基于Devfile的、一键式、无差别构建，基于账号的隔离独享环境，基于浏览器的全新开发模式，让你和你的 小伙伴的软件工程环境精准的一致，而且能随心所欲的创建一个新的属于你的环境。

3、全系列、分步骤镜像，让你的大数据能够从任一成功阶段继续，从裸Linux到Zookeeper、Hadoop、Tez、 Hive、Spark、Oozie、HBase，到Kafka、Flink、Ambari，All in One的Jupyter，最新版本的TensorFlow， 使用你擅长的任一语言，Python、Java、Scala、R、Julia。

4、无需任何配置，只要bind任一端口，你的应用便自动地expose出去，自动配置域名。

She平台架构

在这里插入图片描述

She是构建在docker/k8s之上、用于软件开发调试的大数据平台，平 台本身是架构在大数据集群之上的分布式系统，包括三层：计算资源管 理层、She核心调度层、应用层，应用层集合了所有课程环境，Devfile 和Workspace是其中两个核心概念：

1.Devfile是开展某项软件类开发任务所需环境的定义，那么将这个草稿 建设起来的就是Workspace，即Workspace是物理的、而Devfile是逻辑 的、是静态的：Workspace包括了物理上运行的各容器或物理机实体、端 口、命名等一干看得见摸得着的资源，所以Devfile定义了某个实训任务 的资源需求情况，如CPU、GPU、Memory、Disk等，而运行中的Work space的则实际占有了这些资源，因此，从这个意义上看，具体的实训 任务决定了She平台的硬件配置需求。

2.Devfile是She平台的预置环境，即其对应的Workspace中已经安装了 一系列版本号确定的工具，这些工具集的选择是根据这项开发任务的通 用需求而定的，是通用的；但是我们可以根据需要卸载、升级、安装相 应工具。

HFS三节点集群拓扑结构

在这里插入图片描述

为了降低实训成本，我们以三节点为例搭建HFS集群，但这个集群理论上可以水平扩展到10万点的规模。