前言
对于机器学习来说，模型和数据是非常重要的。而模型与数据相比，模型即便是优化得再好，数据不够、不好的话，最终也不能得到一个好的预测结果。因此，我们在使用机器学习方法去建立某个领域模型的同时，也要注意相关原始数据的收集和整理。当我们需要通过庞大的计算量来获取数据的时候，通常可能需要使用大型服务器集群，甚至高性能集群、超算等等。这个时候，即使我们提交的计算在一段时间后得到了结果，恐怕也会是很多个结果文件，我们也很难从这些文件中抽取出我们关心的、想要的某些数据，更难将其整理成可直接用于机器学习的数据格式。
面对着这些问题，通常我们会想到可以建立一个数据库，再写一些脚本去自动解析文件内容、抽取关键字段和数值，甚至说为了编程可达需要给数据库设计一套 RESTful API 或者 GraphQL API。这样听起来工程量略大，但是一旦做好那么就可以建立类似于 Materias Project 等等那样的专业领域数据库。其实，我们并没有必要从零开始去做这些，因为现在已经有了开源数据管理软件 AiiDA。
AiiDA 是一个使用 Python 编写的开源复杂工作流设计和管理框架，旨在帮助从事计算科学（计算材料学，计算生物学等）的相关研究者可以更好地管理、编写、使用和分享复杂的工作流以及计算产生的有用数据。它使得在研究中复杂的计算流程的可重复性得以保证。AiiDA 实现并支持了 ADES 模式的四大基石： (A)utomation（自动）, (D)ata（数据）, (E)nvironment（社区环境）, 和 (S)haring （分享）. AiiDA 支持的一些典型特性包括：
- 工作流： AiiDA 可以用来创建并执行复杂的、自动文档化的工作流来连接本地和远端计算资源上的多个计算代码。
- 高通量： AiiDA 的基于事件的工作流引擎支持成百上千（每小时）的带有检查点的计算例程。
- 数据可验证性： AiiDA 自动追踪所有可验证性图中 (provenance graph) 的输入、输出和元数据，以保证计算的完全可重复性。
- 高级的查询检索特性： AiiDA 的查询语言支持千万个节点的快速图查询。
- 插件接口：: AiiDA 可以通过插件来支持各种计算代码，和各种数据分析工具，各种数据类型，任务调度工具以及远程连接方式等 (参见公共插件库)。
- 高性能集群接口： AiiDA 支持无缝地把你的计算从一个集群转换到另一个集群运行。AiiDA 兼容各种任务调度软件 SLURM, PBS Pro, torque, SGE 或者 LSF ，对这些任务调度工具 AiiDA 都是源生支持的。
- 开放科学： AiiDA 可以将全部或部分的数据库导出，以便于和同行分享，或上传至 Materials Cloud 以便 归档 和 检索 。
- 开源： AiiDA 通过 MIT 开源协议 发布。
安装
AiiDA 官网向用户提供了很多种安装方式，其中最简单的就是使用 Docker 一键式安装。这里不仅介绍由 AiiDA 团队构建的 aiida-team/aiida-core 镜像，也介绍具有多种集成环境的 Quantum Mobile 镜像。除了 Docker 方式外，AiiDA 也可以直接在 Linux/Mac 系统上安装。考虑到 AiiDA 部署在 Linux 服务器操作系统上更为合适，这里就分别介绍使用 root 用户和非 root 用户如何安装 AiiDA 整体环境。
Docker 安装
单独环境
使用以下 docker-compose.yml 文件和命令 docker-compose up -d 即可启动一个 aiida-team/aiida-core 容器实例。
# docker-compose.yml
version: '3.9'
services:
aiida:
image: aiidateam/aiida-core:1.3.0
container_name: aiida
stdin_open: true
tty: true
volumes:
- ./data:/home/aiida/data
restart: always
networks:
extnetwork:
ipv4_address: 192.168.18.2
networks:
extnetwork:
ipam:
config:
- subnet: 192.168.18.0/24
gateway: 192.168.18.1多软件环境
使用以下 docker-compose.yml 文件和命令 docker-compose up -d 即可启动一个 quantum-mobile 容器实例。
# docker-compose.yml
version: '3.4'
services:
quantum-mobile:
# using the required tag
image: "marvelnccr/quantum-mobile:20.11.2a"
container_name: quantum-mobile
expose:
- "8888" # AiiDa Lab
- "8890" # Jupyter Lab
- "5000" # REST API
- "22" # SSH
ports:
# local:container
- "8888:8888"
- "8890:8890"
- "22:22"
- "5000:5000"
# privileged mode and mounting the cgroup are required for correctly running sytsemd inside the container (set as the default command)
privileged: true
volumes:
- "/sys/fs/cgroup:/sys/fs/cgroup:ro"
environment:
LC_ALL: "en_US.UTF-8"
LANG: "en_US.UTF-8"
healthcheck:
# check that the daemon has been started for the 'generic' profile
# can take a few minutes to start
test: systemctl is-active --quiet aiida-daemon@generic.service
interval: 30s
retries: 6
start_period: 30sroot 用户安装
由于 root 用户对系统具有绝对的管理权限，所以使用 root 用户安装 AiiDA 环境时比较简单，可以直接通过 APT 源安装 PostgreSQL、RabbitMQ 和 AiiDA。如下所示，完成这三种软件的安装。
代码语言：javascript复制# AiiDA 是一个 python 编写的软件，所有需要 python 环境和 pip 包管理工具
sudo apt-get install git python3-dev python3-pip
# 安装 PostgreSQL 服务器与客户端命令
sudo apt-get install postgresql postgresql-server-dev-all postgresql-client
# 安装 RabbitMQ 服务器并查询当前状态
sudo apt-get install rabbitmq-server
sudo rabbitmqctl status
# 安装 AiiDA
pip install aiida-core具体配置 PostgreSQL 数据库和 AiiDA 与下一节中非 root 用户安装中相同，请参照下面内容。
非 root 用户安装
当我们在使用内网服务器时，很大可能我们只是一个普通用户，并没有管理员权限。所以如果想要以一个非 root 用户的身份来安装部署 AiiDA 服务是否也有可能呢？事实上是可以实现的，因为组成 AiiDA 运行环境的三个软件都可以以非 root 用户安装、启动。为了简化安装软件过程，这里我们采用了 Anaconda 来帮助我们更快、更简单地安装部署环境。（后续，笔者将会为服务器上的 Anaconda 使用特别写一篇文章进行详细介绍，这里默认已安装有 Anaconda。）
代码语言：javascript复制# 启动 Anaconda 环境
~/anaconda3/etc/profile.d/conda.sh安装 PostgreSQL
代码语言：javascript复制# 从 conda-forge 频道安装 PostgreSQL
conda install -c conda-forge postgresql配置和启动 PostgreSQL
代码语言：javascript复制# 创建 PostgreSQL 数据存储目录
# 为了更好地区别是从 conda 安装的 PostgreSQL，特别将存储目录放置在 conda 配置目录下
mkdir -p /home/lisz/.conda/envs/pgsql/data
# 指定数据存储目录并后台启动 PostgreSQL，同时也开启日志记录功能
pg_ctl -D /home/lisz/.conda/envs/pgsql/data -l logfile start
# 查看是否正常启动并监听端口 5432
(base) ➜ data lsof -i:5432
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
postgres 33906 lisz 3u IPv6 66936721 0t0 TCP localhost:postgres (LISTEN)
postgres 33906 lisz 4u IPv4 66936722 0t0 TCP localhost:postgres (LISTEN)
# 使用当前 Linux 用户身份认证直接进入 PostgreSQL 默认数据库
# 进入后是 PostgreSQL 的 shell 交互界面
psql -d postgres# 输入以下命令完成创建用户 aiida、数据库 aiidadb，并给用户赋给该数据库的完全权限
CREATE USER aiida WITH PASSWORD '<password>';
CREATE DATABASE aiidadb OWNER aiida ENCODING 'UTF8' LC_COLLATE='en_US.UTF-8' LC_CTYPE='en_US.UTF-8' TEMPLATE=template0;
GRANT ALL PRIVILEGES ON DATABASE aiidadb to aiida;# 使用 q 即可退出刚才的 PostgreSQL 提供的 shell
# 测试 aiida 用户是否可以使用密码从本地成功登录 aiidadb 数据库
psql -h localhost -d aiidadb -U aiida -W
# 输入密码后，出现 PostgreSQL 的 shell 即登录成功安装 RabbitMQ
代码语言：javascript复制# 从 conda-forge 频道安装 RabbitMQ 服务器
conda install -c conda-forge rabbitmq-server配置和启动 RabbitMQ
代码语言：javascript复制# 让 RabbitMQ 使用默认配置在后台启动
rabbitmq-server -detached
# 开启 Web 管理插件
rabbitmq-plugins enable rabbitmq_management
# 查看状态，验证是否正常启动
rabbitmq-server status
# 查看是否正常监听 5672 端口
(base) ➜ ~ lsof -i:5672
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
beam.smp 33967 lisz 95u IPv6 66919827 0t0 TCP *:amqp (LISTEN)由于 RabbitMQ 是消息队列，这里没有持久化和验证的需求，所有可以直接使用默认配置启动即可。验证正常启动后，可浏览 http://localhost:15627 来访问 RabbitMQ 的 Web 界面，默认管理员账号和密码均为 guest。这里需要注意的是，如果是服务器安装，本地机器是需要使用 ssh 代理端口的功能把服务器端的 15627 端口代理到本地的 15627 端口之后才能正常访问。当然，笔者建议使用 VS Code 来远程连接服务器，然后就可以使用 VS Code 提供的界面简单操作代理远程端口到本地。
安装 AiiDA
代码语言：javascript复制# 从 pypi 安装 AiiDA 核心程序
pip install aiida-core
# 如果上述安装过程提示 conda 需要 pathlib 的 error，可以直接安装并重载 AiiDA 配置
conda install pathlib
reentry scan配置和启动 AiiDA
代码语言：javascript复制# 为 AiiDA 配置用户信息、数据库连接信息以及消息队列连接信息
(base) ➜ ~ verdi setup
Info: enter "?" for help
Info: enter "!" to ignore the default and set no value
Profile name: conquest
Email Address (for sharing data): xxxx@xxx.xxx
First name: Ben
Last name: Li
Institution: NIMS
Database engine (postgresql_psycopg2) [postgresql_psycopg2]:
Database backend (django, sqlalchemy) [django]:
Database host: localhost
Database port [5432]:
Database name: aiidadb
Database username: aiida
Database password:
Broker protocol (amqp, amqps) [amqp]:
Broker username [guest]:
Broker password [guest]:
Broker host [127.0.0.1]:
Broker port [5672]:
Broker virtual host name []:
Repository directory [/home/lisz/.aiida/repository/conquest]:至此，AiiDA 的所有软件环境就已经完全配置好了，试试觉得也不是那么难哈。
验证安装
AiiDA 的验证安装主要是检查：
- AiiDA 主程序是否在后台正常运行？
- verdi shell 是否能正常使用？
- AiiDA 与数据库、消息队列是否连接正常？
# verdi daemon status 检查后台情况
# 如果没有启动使用 verdi daemon start 启动
(base) ➜ ~ verdi daemon status
Profile: conquest
Daemon is running as PID 25383 since 2021-05-12 16:06:03
Active workers [1]:
PID MEM % CPU % started
----- ------- ------- -------------------
25387 0.02 0 2021-05-12 16:06:03
Use verdi daemon [incr | decr] [num] to increase / decrease the amount of workers
# verdi shell 进入 shell，如果无法进入则证明配置仍然存在错误
(base) ➜ ~ verdi shell
Python 3.8.10 | packaged by conda-forge | (default, May 11 2021, 07:01:05)
Type 'copyright', 'credits' or 'license' for more information
IPython 7.23.1 -- An enhanced Interactive Python. Type '?' for help.
In [1]: exit()
# verdi status 查看 AiiDA 的各项配置，包括自身及与其他软件之间的连接
(base) ➜ ~ verdi status
✔ config dir: /home/lisz/.aiida
✔ profile: On profile conquest
✔ repository: /home/lisz/.aiida/repository/conquest
✔ postgres: Connected as aiida@localhost:5432
✔ rabbitmq: Connected as amqp://guest:guest@127.0.0.1:5672?heartbeat=600
✔ daemon: Daemon is running as PID 25383 since 2021-05-12 16:06:03后续使用
当我们已经有了 AiiDA 的完整环境之后，我们就会想要知道该如何使用 AiiDA 为计算服务呢。由于笔者是做第一性原理计算和机器学习的研究，所以后续将以 AiiDA 和 CONQUEST 的搭配使用为实例来介绍 AiiDA 的数据管理用法。
参考资料
- AiiDA 官网中文文档
- Conda 安装 PostgreSQL 数据库
- 离线安装 RabbitMQ
- RabbitMQ 后台启动以及关闭
版权声明：如无特别声明，本文版权归 仲儿的自留地 所有，转载请注明本文链接。
（采用 CC BY-NC-SA 4.0 许可协议进行授权）
本文标题：《 AiiDA 开源数据管理软件 》
本文链接：https://cloud.tencent.com/developer/article/2143011
