量化开发期间，每次都获取券商数据，总是一个麻烦事。所以搭建一个本地的数据库进行存储，可以节约很多不必要的性能和资源开销。一般情况下，建议使用clickhouse数据库来当做你的数据库存储。不过本文章为了快速入门，就以postgresql为例来做数据库存储。
本地postgresql我使用的debian系统进行安装。使用debian的原因：debian的shell操作可以兼容更多的Linux系列操作系统，例如Ubuntu系列、华为欧拉系列、麒麟操作系统系列等。
步骤 1: 更新系统
首先，确保你的系统是最新的。打开终端并执行：
代码语言：javascript复制sudo apt update
sudo apt upgrade
步骤 2: 安装PostgreSQL
Debian的官方仓库中包含了PostgreSQL。你可以直接安装最新的PostgreSQL版本。运行以下命令来安装：
代码语言：javascript复制sudo apt install postgresql
步骤 3: 启动和启用服务
安装完成后，PostgreSQL服务通常会自动启动。你可以检查服务状态：
代码语言：javascript复制sudo systemctl status postgresql
如果服务没有运行，你可以启动并设置开机启动：
代码语言：javascript复制sudo systemctl start postgresql
sudo systemctl enable postgresql
步骤 4: 创建数据库和用户
安装完毕后，你可以开始创建数据库和用户。首先，切换到postgres用户：
代码语言：javascript复制sudo -i -u postgres
然后，你可以进入PostgreSQL命令行界面：
psql
在这里，你可以创建一个新的用户和数据库，并授予用户权限：
代码语言：javascript复制CREATE USER myuser WITH ENCRYPTED PASSWORD 'mypassword';
CREATE DATABASE mydb;
GRANT ALL PRIVILEGES ON DATABASE mydb TO myuser;
授予public的权限
-- 给予特定用户对schema 的使用权限
代码语言：javascript复制GRANT USAGE ON SCHEMA my_schema TO your_user;-- 给予特定用户对 schema 中所有表的所有权限
代码语言：javascript复制GRANT ALL ON ALL TABLES IN SCHEMA my_schema TO your_user;-- 设置默认权限，以确保将来在 schema 中创建的所有新表都将自动给予特定用户相应权限
代码语言：javascript复制ALTER DEFAULT PRIVILEGES IN SCHEMA my_schema GRANT ALL ON TABLES TO your_user;
退出psql使用q，然后回到普通用户使用exit。
步骤 5: 配置远程访问
如果你需要远程连接到你的PostgreSQL数据库，你需要修改postgresql.conf和pg_hba.conf文件。这些文件通常位于/etc/postgresql/版本/main/目录中。
【备注】我当前最新版本是15版本，如果以后你们下载的可能不是15版本，请根据实际版本进行配置。例如配置默认路径里面的15是实际你自己的版本，例如16、17、18等等。
编辑postgresql.conf，设置listen_addresses为'*'：
代码语言：javascript复制sudo vim /etc/postgresql/15/main/postgresql.conf在文件中找到listen_addresses并修改它：
代码语言：javascript复制listen_addresses = '*'改变前：
改变后：
编辑pg_hba.conf，添加或修改规则以允许远程连接：
代码语言：javascript复制sudo vim /etc/postgresql/15/main/pg_hba.conf在合适的位置添加：
# TYPE DATABASE USER ADDRESS METHOD
代码语言：javascript复制host all all 0.0.0.0/0 md5
重启PostgreSQL服务使更改生效：
代码语言：javascript复制sudo systemctl restart postgresql
然后可以使用一些客户端工具来连接数据库，例如DataGrip、Navicat、Dbeaver等等都可以。
并且里面没有任何表结构等信息。
实现根据表名称自动创建指定的表结构。用于存放所有大A的历史数据。先创建一个实体类，并用来指定表字段名称，用于统一生成所有股票的表结构。
以及预留三个字段，存储DIF、DEA、MACD数据
创建一个简单的帮助类，用于操作数据库使用。并且实例创建以后，默认提供一个获取sqlsugarscope对象的方法，以及获取已有表信息的集合。
最后提供一个创建表结构的方法，用于指定表结构所需要的实体类，以及表名称。表名称此处可以以股票代码为表名称
对之前获取股票清单的地方，做一个创建表的操作。此处为了简单操作，大佬们可以对帮助类做其他拓展，以便于支持依赖注入等。
开始执行，可以看到表结构在持续性创建
展开任意一个表，可以看到字段都被成功创建了。后续这些表就会被用于存储对应表名称的股票代码的所有历史数据。
执行完毕以后，可以看到总共5361个表。
接下来，在数据库操作帮助类里面，新增CRUD有关操作
对获取历史数据的操作，做个改造，获取历史数据以后也计算DIF、DEA、MACD数据，并一起写入数据库：
执行获取历史任务job，可以看到刷刷刷的获取记录信息。
打开数据库表，查看数据，可以看见数据写入成功，并且dif、dea、macd数据也都记录成功。和通达信等app上面的数据也一致（app显示的是四舍五入以后的数据）
等待程序执行完毕，整个历史数据就生成成功了。历史数据可以用来方便计算你的策略的历史模拟战绩，形成你的个人财富。
以上只是抛砖引玉，大家还可以自行保存分钟数据、周数据、每个交易日收盘以后自动新增当天数据等进行维护，此处就不一一列举了。
数据库核心操作帮助类，供参考：
代码语言：javascript复制public class DatabaseHelper
{
private DbTableInfo[] _initTables=new DbTableInfo[0];
private SqlSugarScope _sqlScope = null;
public DatabaseHelper()
{
_sqlScope = GetDbScope();
GetTableList(_sqlScope);
}
/// <summary>
/// 返回表名称
/// </summary>
/// <returns></returns>
public string[] GetStockTableNames()
{
return _initTables.Select(x => x.Name).ToArray();
}
private SqlSugarScope GetDbScope()
{
var db = new SqlSugarScope(new ConnectionConfig()
{
ConnectionString = "Host=ip;Port=port;Username=username;Password=pwd;Database=dbname;",
DbType = DbType.PostgreSQL,
IsAutoCloseConnection = true,
InitKeyType = InitKeyType.Attribute
});
return db;
}
/// <summary>
/// 获取已有的数据库表
/// </summary>
/// <param name="db"></param>
/// <param name="tableName"></param>
/// <returns></returns>
private void GetTableList(SqlSugarScope db)
{
_initTables = db.DbMaintenance.GetTableInfoList(false).ToArray();
}
public void CreateTableWithCustomName<T>(string tableName)
{
try
{
if (!_initTables.Any(x => x.Name == tableName))
{
_sqlScope.MappingTables.Add(typeof(T).Name, tableName);
// 通过动态指定表名来初始化或迁移表结构
_sqlScope.CodeFirst.InitTables<T>();
// 解除映射
_sqlScope.MappingTables.Remove(new MappingTable() { EntityName = typeof(T).Name });
}
else
{
Debug.WriteLine($"Table '{tableName}' already exists.");
}
}catch(Exception ex)
{
Debug.WriteLine(ex.Message);
}
}
/// <summary>
/// 映射表
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="tableName"></param>
private void UseTable<T>(string tableName)
{
_sqlScope.MappingTables.Add(typeof(T).Name, tableName);
}
/// <summary>
/// 插入数据
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="tableName"></param>
/// <param name="data"></param>
public void InsertData<T>(string tableName, List<T> data) where T : class, new()
{
UseTable<T>(tableName);
_sqlScope.Insertable(data).ExecuteCommand();
_sqlScope.MappingTables.Clear(); // 清理映射以防止后续操作错误
}
/// <summary>
/// 查询
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="tableName"></param>
/// <returns></returns>
public List<T> QueryData<T>(string tableName) where T : class, new()
{
UseTable<T>(tableName);
var result = _sqlScope.Queryable<T>().ToList();
_sqlScope.MappingTables.Clear();
return result;
}
/// <summary>
/// 更新
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="tableName"></param>
/// <param name="data"></param>
public void UpdateData<T>(string tableName, List<T> data) where T : class, new()
{
UseTable<T>(tableName);
_sqlScope.Updateable(data).ExecuteCommand();
_sqlScope.MappingTables.Clear();
}
/// <summary>
/// 删除数据
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="tableName"></param>
/// <param name="data"></param>
public void DeleteData<T>(string tableName,List<T> data) where T : class, new()
{
UseTable<T>(tableName);
_sqlScope.Deleteable(data).ExecuteCommand();
_sqlScope.MappingTables.Clear();
}
/// <summary>
/// 删除指定的表
/// </summary>
/// <param name="tableName"></param>
public void DropTableIfExists(string tableName)
{
if (_sqlScope.DbMaintenance.IsAnyTable(tableName, false))
{
_sqlScope.DbMaintenance.DropTable(tableName);
}
else
{
Debug.WriteLine($"Table {tableName} does not exist.");
}
}
}谷市有风险，量化需谨慎~大佬们且量且珍惜~
如果觉得有帮助，欢迎点赞 转发 收藏 关注【Dotnet Dancer】~谢谢大佬们，祝大佬们早日财富自由~
