千数平台提供统一、高效、安全的数据支撑服务
千数平台(qData) 是一款一站式开源数据中台,覆盖中台基础建设、数据治理、数据开发、监控告警、数据服务与数据可视化等核心能力,致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务。
二、开源协议
使用Apache-2.0开源协议
三、界面展示
四、功能概述
使用场景
场景 | 描述 |
多源数据整合 | 整合业务系统、IoT、第三方等数据,实现统一采集、清洗与治理,构建标准数据资产。 |
统一数据服务 | 将治理数据通过 API 或数据集方式提供,支撑系统共享调用,提升复用效率。 |
决策分析支撑 | 提供统一数据视图和分析能力,助力业务分析、报表生成及科学决策。 |
优势
优势点 | 描述 |
统一标准 | 建立统一的数据规范、模型和指标体系,消除“数据孤岛”,提升全局协同效率。 |
⚙️ 敏捷支撑 | 快速响应业务变化,按需提供数据服务和分析支持,加速业务创新。 |
安全可控 | 数据权限精细化管理,保障数据合规使用,支撑审计与监管要求。 |
已有功能一览
功能模块 | 功能描述 | 状态 |
系统管理 | 包含系统配置、用户与权限管理、运行监控、日志管理、服务器资源监控和工作空间管理,支持将任务拆分给不同项目组协作,适应前店后厂的工作流程。 | 完成 |
数据标准管理 | 管理逻辑模型(表级,支持关联数据元)和数据元模型(字段级,绑定规范、稽查与清洗),实现结构化数据规范和质量管控。 | 完成 |
数据集成(ETL) | 支持数据库、文件、消息队列等多种数据源接入,提供可视化ETL设计、多任务调度与监控,支持数据清洗规则应用,包含运行日志和执行配置管理。 | 完成 |
元数据管理 | 集中管理数据表、字段、稽查、清洗指标等元信息,建立统一的数据资产目录,支撑数据查找、血缘分析和结构维护。 | 完成 |
数据质量管理 | 支持基于预置的稽查规则及数据清洗规则,实现对数据准确性、一致性和完整性的自动校验与修正。 | 完成 |
数据资产管理 | 通过目录结构对数据资产进行分级分类管理,支持全生命周期跟踪与维护。 | 完成 |
统一标签管理 | 支持标签自动生成与多维度标签筛选,便于数据分类和精准检索。 | 完成 |
数据开发 | 支持达梦8、MySQL、Oracle、人大金仓等主流数据库任务开发,包含调度配置和日志管理,基于数据仓库,通过SQL及大数据脚本结合业务需求开发和加工业务数据。 | 完成 |
数据查询 | 提供灵活且高效的交互式查询工具,支持快速分析和挖掘结构化数据。 | 完成 |
数据服务管理 | 将数据资产封装为 API 服务,支持外部 API 接口转发,包含 API 日志、数据脱敏、数据接口和服务接口管理及调用日志监控。 | 完成 |
五、技术选型
️ 技术栈
qData 平台采用前后端分离架构,后端基于 Spring Boot,前端基于 Vue 3,整合常用中间件与数据工具,构建一站式数据中台解决方案。
️ 后端技术栈
分类 | 技术 | 描述 |
服务框架 | Spring Boot | 提供快速开发能力 |
权限控制 | Spring Security | 实现用户权限认证与控制 |
数据库 | MySQL、PostgreSQL、达梦8、人大金仓 | 持久化存储与配置管理 |
ORM 框架 | MyBatis-Plus | 简化数据库操作 |
缓存与并发控制 | Redis | 支持缓存、分布式锁等 |
消息队列 | RabbitMQ | 实现异步通信与解耦处理 |
前端技术栈
分类 | 技术 | 描述 |
框架 | Vue 3 | 现代化响应式框架 |
组件库 | Element UI | 常用 UI 组件支持 |
构建工具 | Vite | 快速开发与构建工具 |
第三方依赖
分类 | 组件 / 工具 | 描述 |
数据仓库 | Hive | 支持数据建模、分区管理及元数据维护 |
计算引擎与数据集成 | Spark | 批流一体,支持 ETL 数据处理 |
大数据存储 | Hive、HBase | 支持海量非结构化与半结构化数据存储 |
作业调度与任务管理 | DolphinScheduler | 提供可视化任务编排、依赖管理及调度能力 |
️ 部署要求
在部署 qData 之前,请确保以下环境和工具已正确安装:
️ 服务端环境要求(后端)
项目 | 推荐版本 | 说明 |
JDK | 1.8 或以上 | 建议使用 OpenJDK 8 或 11 |
Maven | 3.6+ | 项目构建与依赖管理 |
达梦8 | 8.0 | 关系型数据库(可切至MySQL) |
Redis | 5.0+ | 缓存与消息功能支持 |
RabbitMQ | 可选 | 用于任务调度、异步通信等功能。 |
操作系统 | Windows / Linux / Mac | 通用环境均可运行 |
前端环境要求(可选,若需本地构建)
项目 | 推荐版本 | 说明 |
Node.js | 16+ | 构建工具依赖 |
npm | 10+ | 包管理器 |
Vite | 最新版 | 脚手架工具 |
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- 卢布汇率人民币2023年7月16日
- 日元对人民币汇率2023年5月14日
- 十年之约 共聚无锡 | 闻库:物联网转售将成移动转售“新大陆”
- 特斯拉,背刺国产新能源车企
- 美国升级制裁力度,国产芯片何去何从?
- 移动云OpenAPI 2.0亮相:全面构建算网能力开放中心,迈向算力网络新时代
- 微信安装包11年膨胀575倍,UP主:“98%的文件是垃圾”;苹果应用商店被曝大量色情App;四大科技巨头呼吁废除闰秒|极客头条
- 视频|Quest混搭指虎手柄设置教程
- 河西走廊位于什么以西
- 去年免费播《囧妈》后,今年抖音独家合作七部春节档大片
- 1 元秒杀 1000+ 册爆款电子书,错过再等一年!
- 突发!因违反《反垄断法》,阿里巴巴、阅文、丰巢被国家处罚,三家回应来了