千数平台提供统一、高效、安全的数据支撑服务
千数平台(qData) 是一款一站式开源数据中台,覆盖中台基础建设、数据治理、数据开发、监控告警、数据服务与数据可视化等核心能力,致力于高效赋能数据前台,为各类业务系统提供统一、高效、安全的数据支撑服务。
二、开源协议
使用Apache-2.0开源协议
三、界面展示
四、功能概述
使用场景
场景 | 描述 |
多源数据整合 | 整合业务系统、IoT、第三方等数据,实现统一采集、清洗与治理,构建标准数据资产。 |
统一数据服务 | 将治理数据通过 API 或数据集方式提供,支撑系统共享调用,提升复用效率。 |
决策分析支撑 | 提供统一数据视图和分析能力,助力业务分析、报表生成及科学决策。 |
优势
优势点 | 描述 |
统一标准 | 建立统一的数据规范、模型和指标体系,消除“数据孤岛”,提升全局协同效率。 |
⚙️ 敏捷支撑 | 快速响应业务变化,按需提供数据服务和分析支持,加速业务创新。 |
安全可控 | 数据权限精细化管理,保障数据合规使用,支撑审计与监管要求。 |
已有功能一览
功能模块 | 功能描述 | 状态 |
系统管理 | 包含系统配置、用户与权限管理、运行监控、日志管理、服务器资源监控和工作空间管理,支持将任务拆分给不同项目组协作,适应前店后厂的工作流程。 | 完成 |
数据标准管理 | 管理逻辑模型(表级,支持关联数据元)和数据元模型(字段级,绑定规范、稽查与清洗),实现结构化数据规范和质量管控。 | 完成 |
数据集成(ETL) | 支持数据库、文件、消息队列等多种数据源接入,提供可视化ETL设计、多任务调度与监控,支持数据清洗规则应用,包含运行日志和执行配置管理。 | 完成 |
元数据管理 | 集中管理数据表、字段、稽查、清洗指标等元信息,建立统一的数据资产目录,支撑数据查找、血缘分析和结构维护。 | 完成 |
数据质量管理 | 支持基于预置的稽查规则及数据清洗规则,实现对数据准确性、一致性和完整性的自动校验与修正。 | 完成 |
数据资产管理 | 通过目录结构对数据资产进行分级分类管理,支持全生命周期跟踪与维护。 | 完成 |
统一标签管理 | 支持标签自动生成与多维度标签筛选,便于数据分类和精准检索。 | 完成 |
数据开发 | 支持达梦8、MySQL、Oracle、人大金仓等主流数据库任务开发,包含调度配置和日志管理,基于数据仓库,通过SQL及大数据脚本结合业务需求开发和加工业务数据。 | 完成 |
数据查询 | 提供灵活且高效的交互式查询工具,支持快速分析和挖掘结构化数据。 | 完成 |
数据服务管理 | 将数据资产封装为 API 服务,支持外部 API 接口转发,包含 API 日志、数据脱敏、数据接口和服务接口管理及调用日志监控。 | 完成 |
五、技术选型
️ 技术栈
qData 平台采用前后端分离架构,后端基于 Spring Boot,前端基于 Vue 3,整合常用中间件与数据工具,构建一站式数据中台解决方案。
️ 后端技术栈
分类 | 技术 | 描述 |
服务框架 | Spring Boot | 提供快速开发能力 |
权限控制 | Spring Security | 实现用户权限认证与控制 |
数据库 | MySQL、PostgreSQL、达梦8、人大金仓 | 持久化存储与配置管理 |
ORM 框架 | MyBatis-Plus | 简化数据库操作 |
缓存与并发控制 | Redis | 支持缓存、分布式锁等 |
消息队列 | RabbitMQ | 实现异步通信与解耦处理 |
前端技术栈
分类 | 技术 | 描述 |
框架 | Vue 3 | 现代化响应式框架 |
组件库 | Element UI | 常用 UI 组件支持 |
构建工具 | Vite | 快速开发与构建工具 |
第三方依赖
分类 | 组件 / 工具 | 描述 |
数据仓库 | Hive | 支持数据建模、分区管理及元数据维护 |
计算引擎与数据集成 | Spark | 批流一体,支持 ETL 数据处理 |
大数据存储 | Hive、HBase | 支持海量非结构化与半结构化数据存储 |
作业调度与任务管理 | DolphinScheduler | 提供可视化任务编排、依赖管理及调度能力 |
️ 部署要求
在部署 qData 之前,请确保以下环境和工具已正确安装:
️ 服务端环境要求(后端)
项目 | 推荐版本 | 说明 |
JDK | 1.8 或以上 | 建议使用 OpenJDK 8 或 11 |
Maven | 3.6+ | 项目构建与依赖管理 |
达梦8 | 8.0 | 关系型数据库(可切至MySQL) |
Redis | 5.0+ | 缓存与消息功能支持 |
RabbitMQ | 可选 | 用于任务调度、异步通信等功能。 |
操作系统 | Windows / Linux / Mac | 通用环境均可运行 |
前端环境要求(可选,若需本地构建)
项目 | 推荐版本 | 说明 |
Node.js | 16+ | 构建工具依赖 |
npm | 10+ | 包管理器 |
Vite | 最新版 | 脚手架工具 |
-
TinyEditor 一款富文本编辑器
TinyEditor 富文本编辑器TinyEditor 是一个基于 Quill 2.0 的富文本编辑器,在 Quill 基础上扩展了表格、图片、超链接、复制粘贴、插入表情、文件上传、@提醒、斜杆菜单等
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
关注网络尖刀微信公众号随时掌握互联网精彩
- 华为发布全球首个双栈容器解决方案,全面迈向5.5G时代
- 2022统信UOS生态大会 | 倒计时3天!
- 有奖投票 | Edge 的未来你说了算
- 微软加速器十年|连接平台、打造产业落地生态圈
- 【杂谈快报】苹果回应iOS15.4正式版续航翻车:建议遇到续航问题先观察一段时间
- 拜登制定“数字军团”计划,招募和培训在联邦政府任职的数字技术人员
- 【大公司创新情报】英特尔将开展汽车芯片代工业务,最快半年内可投产
- 美国智库为跨大西洋美欧联盟对华战略竞争炮制蓝图
- 2021春节档总票房破60亿;欧盟统计局:去年中国超越美国成为欧盟最大的贸易伙伴|Do早报
- 隔空充电?呵……
- 应对Flash停服的正确姿势
- 统信UOS入选最受关注操作系统




微信扫码关注公众号