引力波数据探索：编程与分析实战训练营

$man
# 空格键：	下翻一页
# PaGe down	向下翻一页
# PaGe up	向上翻一页
# home		直接前往首页
# end		直接前往尾页
# /	从上至下搜索某个关键词，如“/linux”
# ?	从下至上搜索某个关键词，如“?linux”
# n	定位到下一个搜索到的关键词
# N	定位到上一个搜索到的关键词
# q	退出帮助文档

$ pwd
$ reboot
$ ls
$ clear
$ date

$echo [字符串] [$变量]
$date [+指定的格式]
$reboot	# 最好是以root管理员的身份来重启
$poweroff	# 同上
$shutdown now -r  # 立刻重启
$wget [参数] 网址
#	-b 后台下载模式
#	-P 下载到指定目录
#	-c 断点续传
#	-r 递归下载
$ps [参数]	# 查看系统中的进程状态
#	-a 显示所有进程（包括其他用户的进程）
#	-u 用户以及其他详细信息
#	-x 显示没有控制终端的进程
$ps -aux
$ps -ef	# *所有进程*的*完整*信息
#	UID 进程的用户ID
#	PID 进程的唯一标识符，即进程ID
#	PPID：父进程的进程ID
#	C：进程的CPU使用率
#	STIME：进程的启动时间
#	TTY：进程所属的终端
#	TIME：进程的运行时间
#	CMD：进程的命令

$scp [参数] 本地文件 远程账户@远程IP地址:远程目录
#	-v	显示详细的连接进度
#	-P	指定远程主机的sshd端口号
#	-r	用于传送文件夹
#	-6	使用IPv6协议

$ssh [参数] 远程账户@[远程IP地址]
#	-p	指定远程主机的sshd端口号

$rsync -avzP -e 'ssh -p 端口号' 本地文件 远程账户@远程IP地址:远程目录

$screen -S yourname    #-> 新建一个叫 yourname 的 session
$screen -ls            #-> 列出当前所有的 session
$screen -r yourname    #-> 回到 yourname 这个session
$screen -x yourname    #-> 回到 yourname 这个已经 attached session
$screen -d yourname    #-> 远程 detach 某个session
$screen -d -r yourname #-> 结束当前 session 并回到 yourname 这个 session

# 安装完成后，运行下面的命令，验证是否安装成功。
$docker version
$docker info

# 如果 docker 服务没有启动，可以用下面的命令启动
# 以下命令仅适用于 Linux 系统 service 命令的用法
$sudo service docker start

# systemctl 命令的用法 (RHEL7/Centos7)
$sudo systemctl start docker

# 抓取官方的 hello-world 镜像：
$sudo docker image pull hello-world

# 查看
$sudo docker images

# 运行这个 image 文件。
$sudo docker container run hello-world

# Hello from Docker!
# This message shows that your installation appears to be working correctly.

# ... ...
# (运行成功！)

$sudo docker images	# 查看本机所有的镜像
$sudo docker ps -a	# 查看本机所有的容器

$sudo docker rm [containerID]	# 删除容器
$sudo docker image rm [imageID]	# 删除镜像

# Base Image
FROM python:3.10

# 将当前目录下的所有文件(除了.dockerignore排除的路径)
# 都拷贝进入 image 里的/home/ictp_ap目录
COPY . /home/ictp_ap

# 将容器 8000 端口暴露出来， 允许外部连接这个端口
EXPOSE 8000

# 指定接下来的工作路径为/home/ictp_ap
WORKDIR /home/ictp_ap

RUN apt-get update && apt-get install \
        -y --no-install-recommends \
        python3-setuptools \
        python3-pip \
        python3-dev \
        python3-venv \
        git \
        && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*

RUN python -c "print('hello world')"

# 将这个 image 做成一个 app 可执行程序
# 容器启动后自动执行下面指令
#（ENTRYPOINT 可加额外的shell参数）
ENTRYPOINT ["bash", "setup.sh"]

#!/bin/bash
var="Hello World"
 
# Run date and hostname command and s
# tore output to shell variables
now="$(date)"
computer_name="$(hostname)"
 
# print it or use the variable
# Variable names are case sensitive $now 
# and $NOW are different names
#
echo "$var"
echo "Current date and time : $now"
echo "Computer name : $computer_name"
echo ""

FROM ubuntu:20.04
LABEL MAINTAINER="He Wang<hewang@ucas.ac.cn>"
ARG RELEASE_NAME=focal
ARG ROOT_PASSWD=root
ENV SSH_PORT 22
ENV PATH /root/miniconda3/bin:$PATH
# Open port
EXPOSE 8888
EXPOSE 22
#
# UTF-8 encoding to support chs characters
#
RUN echo "export LANG=C.UTF-8" >>/etc/profile \
#
# apt sources backup
#
&& cp /etc/apt/sources.list /etc/apt/sources.list.bak \
#
# switch apt source to TUNA
#
&& echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ release-name main restricted universe multiverse\n\
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ release-name-updates main restricted universe multiverse\n\
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ release-name-backports main restricted universe multiverse\n\
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ release-name-security main restricted universe multiverse" >/etc/apt/sources.list \
&& sed -i 's/release-name/'$RELEASE_NAME'/g' /etc/apt/sources.list \
#
# remove nvidia sources
#
# && rm /etc/apt/sources.list.d/cuda.list /etc/apt/sources.list.d/nvidia-ml.list \
#
# install necessary packages
#
&& apt-get update \
&& apt-get install -y --no-install-recommends \
  build-essential \
  apt-utils \
  vim \
  openssh-server \
  net-tools \
  iputils-ping \
  wget \
  curl \
  git \
  iptables \
  bzip2 \
  command-not-found \
  ca-certificates \
#
# download & install miniconda
#
&& wget -q https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh \
&& bash Miniconda3-latest-Linux-x86_64.sh -b \
&& rm Miniconda3-latest-Linux-x86_64.sh \
&& ln -s /root/miniconda3/etc/profile.d/conda.sh /etc/profile.d/conda.sh \
#
# switch conda source to TUNA
#
&& echo "channels:\n\
  - defaults\n\
show_channel_urls: true\n\
default_channels:\n\
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main\n\
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r\n\
custom_channels:\n\
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud\n\
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud\n\
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud\n\
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud\n\
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud" >/root/.condarc \
#
# create conda py39 environment
#
&& /root/miniconda3/bin/conda create -n py39 python=3.9 -y \
#
# switch pip source to TUNA & update pip
#
&& /root/miniconda3/envs/py39/bin/pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple \
&& /root/miniconda3/envs/py39/bin/pip install pip -U \
#
# enable root access with ssh: replace line starts with '#PermitRootLogin' or 'PermitRootLogin'
#
&& sed -i '/^#*PermitRootLogin/cPermitRootLogin yes' /etc/ssh/sshd_config \
#
# set root password
#
&& echo "root:$ROOT_PASSWD" \
&& echo "root:$ROOT_PASSWD" | chpasswd \
#
# change ssh port & start ssh service when docker container starts
#
&& echo "#!/bin/bash\n\
sed -i \"s/Port 22/Port \$SSH_PORT/g\" /etc/ssh/sshd_config\n\
service ssh start\n\
/bin/bash" >./startup.sh \
&& chmod 777 ./startup.sh \
#
# add welcome tips
#
&& CONDA_VERSION=`/root/miniconda3/condabin/conda -V` \
&& CONDA_VERSION=${CONDA_VERSION#* } \
&& echo "\
printf '\\\n'\n\
printf '\\\033[0;34m'\n\
printf 'Welcome to ICTP-AP server\\\n'\n\
printf 'Please change the default root password in time\\\n'\n\
printf '\\\n'\n\
printf ' Conda:\\\t\\\tMiniconda v$CONDA_VERSION  use \`conda activate py39\` to activate conda env\\\n'\n\
printf ' SSH port:\\\t$SSH_PORT for this container\\\n'\n\
printf '\\\033[0m'\n\
printf '\\\n'\n\
" >>/etc/update-motd.d/10-help-text \
#
# cleanup
#
&& rm -rf /var/lib/apt/lists/* /tmp/*
#
# set startup script
#
ENTRYPOINT ./startup.sh

#!/bin/bash
sudo docker build -t ictp_ap_jupyter .

#!/bin/bash
sudo docker run -itd \
	-p 1234:22 \
	-p 19999:8888 \
	--name ictp_ap_dev \
	ictp_ap_jupyter

ssh -p 1234 root@0.0.0.0

$sudo docker stop [containerID]	# 终止容器运行

# 标注用户名和版本
$sudo docker tag [imageName] [username]/[respository]:[tag]

# 发布image文件
$sudo docker image push [username]/[respository]:[tag]

# 创建 conda 环境
conda create -n ictp-ap python=3.10 --yes
# 激活 conda 环境
conda activate ictp-ap
# 安装 JupyterNotebook 内核
pip install --upgrade ipykernel
# 安装一个扩展插件
pip install jupyterlab_nvdashboard

# 给 ictp-ap conda环境创建同名 kernel
python -s -m ipykernel install \
    --user \
    --name=ictp-ap \
    --display-name="ictp-ap"

#!/bin/bash
nohup jupyter-lab \
    --ip='*' \
    --port=8888 \
    --no-browser \
    --NotebookApp.token='' \
    --allow-root \
    --autoreload \
    --notebook-dir=/home \
    > jupyter.log 2>&1 &

sudo docker pull iphysresearch/ictp_ap_jupyter:1.5

ssh -p 1234 root@0.0.0.0

# ~/.ssh/config
Host ICTP_AP_course
  HostName 0.0.0.0
  User root
  Port 1234