企业数字化建设走到今天,一个几乎所有人都绕不开的现实是:系统越建越多,数据却越来越难用。HIS、ERP、MES、CRM、WMS、SCADA……每一套系统都在产生数据,但每一套系统也都在制造新的“数据围墙”。据行业调研,大型企业平均运行着超过200套业务系统,其中超过70%的数据在系统之间无法直接互通。异构数据的统一接入,已经成为数据工程领域最基础也最棘手的命题。smardaten平台给出的答案是数据通与数字通:一个负责把异构数据“接得住、理得清”,一个负责让业务侧把数据“用起来、跑得快”。理解这两者的定位与协同机制,是理解smardaten异构数据统一接入能力的关键。
一、企业多系统异构数据打通难题
1.1 系统林立导致的数据孤岛
企业信息化建设的历史,本质上是一部“按需采购、分头建设”的历史。财务部门上了ERP,生产部门上了MES,医院上了HIS和LIS,仓储部门上了WMS,销售部门上了CRM。每套系统在选型时都满足了当时的部门级需求,但系统之间的数据交换往往靠人工导出Excel或点对点开发接口来勉强维持。当企业想要做跨系统的全局分析时,才发现数据被锁在各自的数据库中,形成了一座座“数据孤岛”。某制造企业的IT负责人曾坦言:“我们不是没有数据,而是数据在200个地方各说各话。”
1.2 异构协议与数据格式的兼容困境
比系统数量更棘手的是异构性。不同系统使用的数据库类型不同(Oracle、SQL Server、MySQL、国产数据库),数据交换协议不同(REST API、SOAP、FTP文件、消息队列、数据库直连),数据格式也不同(结构化表、JSON、XML、CSV、甚至纸质单据的扫描件)。传统做法是每对接一套系统就开发一个定制化接口,接口数量随系统数量的增加呈指数级增长。一个中等规模企业如果接入10套系统,理论上需要维护45条两两之间的接口链路,运维成本和技术债务极其沉重。
1.3 业务侧对数据接入的参与度低
在传统模式下,数据接入是IT部门的专属工作。业务人员提出“我想看看HIS里的门诊量和ERP里的药品库存能不能对在一起”,IT部门需要理解HIS的表结构和ERP的物料编码体系,再开发ETL流程。业务人员在整个过程中是缺席的,既无法参与字段映射的确认,也无法在接入完成后自主验证数据质量。这种“IT代劳、业务旁观”的模式,导致数据接入的成果与业务预期之间经常存在偏差,返工率居高不下。
1.4 医疗行业的特殊性加剧打通难度
医疗行业是多系统异构数据打通的典型“高压场景”。一家综合性医院通常同时运行HIS(医院信息系统)、LIS(检验信息系统)、PACS(影像归档系统)、EMR(电子病历系统)、HRP(医院资源规划系统)等十余套核心系统。这些系统由不同厂商在 different 时期建设,数据标准各异:患者主索引在HIS中以住院号为主键,在LIS中以检验申请单号为主键,在EMR中又以病历号为主键。更复杂的是,医疗数据涉及患者隐私,接入过程中的脱敏、加密和权限管控要求远高于一般行业。这些特殊性使得医疗数据的统一接入成为检验平台能力的“试金石”。
二、数据通、数字通核心功能
2.1 数据通:异构数据统一接入与治理底座
数据通是smardaten平台中承担数据工程底层职责的能力集合,核心解决“数据从哪里来、怎么接、接进来怎么理”的问题。具体包括:
多源异构数据接入:支持关系型数据库、NoSQL数据库、REST API、文件系统、消息队列、工业协议等30余种数据源类型的连接,HIS、ERP、MES等业务系统的数据可以通过可视化配置的方式完成接入,无需编写代码。
数据清洗与加工:内置拖拽式的数据交换机,提供字段拆分、格式转换、去重、空值填充、编码映射等清洗算子,脏数据在接入环节即完成治理。
数据资产化:将接入并清洗后的数据按业务对象组织为实体库,设备、物料、患者、订单等核心实体的属性、标签和关联关系被沉淀为可复用的数据资产,而非散落在各系统中的“裸表”。
统一数据视图:为上层应用和AI智能体提供口径一致、质量可控的数据访问接口,屏蔽底层异构系统的技术差异。
数据通的定位可以概括为:让异构数据“接得住、理得清、存得对”。
2.2 数字通:业务侧数据应用开发与连接通道
数字通是smardaten平台中面向业务侧的能力层,核心解决“数据接进来之后,谁来做应用、怎么做”的问题。具体包括:
无代码应用搭建:业务人员通过拖拽表单、流程、列表、报表等可视化组件,即可完成轻量级数据应用的构建,无需编写代码。一个巡检表单、一张设备档案卡片、一个患者随访记录页,均可在分钟级完成配置。
数据消费入口:为业务人员提供统一的数据查询、报表查看和智能问数入口,业务人员可以直接用自然语言向接入的数据提问,系统自动调取底层数据资产并生成分析结论。
业务流程编排:将数据接入与业务动作串联起来,例如当设备传感器数据触发阈值时自动生成巡检工单,当患者检验结果异常时自动推送提醒。
权限与角色管控:基于岗位和账号配置数据可见范围和应用操作权限,确保不同角色在数据应用开发和使用过程中看到的数据、可执行的操作均在授权范围内。
数字通的定位可以概括为:让业务侧“建得了应用、用得上数据、管得住权限”。
2.3 两者协同的工作机制
数据通与数字通不是两个孤立的产品模块,而是一条流水线的上下游。数据通完成异构数据的接入、清洗和资产化,将原本分散在HIS、ERP、MES中的“原料数据”加工为口径统一、质量可控的“数据资产”;数字通则在此基础上,让业务人员以无代码方式搭建数据应用、发起智能问数、编排业务流程。没有数据通,数字通搭建的应用就是无源之水;没有数字通,数据通接入的数据就停留在“存着但没人用”的状态。两者的协同,构成了smardaten异构数据统一接入与消费的完整闭环。
三、多源数据自动规整、映射
异构数据接入的核心难点不在于“连上”,而在于“连上之后数据能不能对得上”。smardaten在数据通层面提供了从自动发现到语义对齐的完整规整与映射能力。
3.1 自动化的数据源发现与连接
平台提供数据源自动扫描能力,对已授权的数据库和API端点进行元数据采集,自动识别表结构、字段类型、主外键关系和索引信息。对于HIS、ERP、MES等标准业务系统,平台预置了常见的连接模板,运维人员只需填写连接地址和认证信息,即可完成数据源的注册。对于非标准化的旧系统,数据通支持通过REST API无码化对接和文件定时抽取两种兜底方式,确保“没有接不进来的系统”。
3.2 字段映射与语义对齐
数据接入后,最大的工作量往往在字段映射上。HIS中的“患者姓名”字段可能叫PAT_NAME,ERP中的“物料名称”可能叫MATL_DESC,MES中的“工单号”可能叫ORDER_NO。数据通提供可视化的字段映射界面,支持源字段与目标实体属性的拖拽匹配,并内置了常见医疗、制造行业的字段同义词库,对“住院号/患者ID/病历号”这类同义不同名的字段进行智能推荐映射。业务人员可以在映射确认环节参与审核,确保IT的理解与业务预期一致,减少返工。
3.3 数据清洗与质量校验
映射完成后,数据进入清洗加工环节。数据通的数据交换机提供超过50种清洗算子,覆盖格式转换(日期格式、编码格式)、值域校验(枚举值合法性检查)、去重合并(基于主键或业务规则的重复记录识别)、空值处理(默认值填充或标记)等场景。清洗规则以可视化流程的方式编排,每一步的输入输出均可预览,清洗结果的质量报告自动生成,异常数据被标记并回流至源系统或人工复核队列。
3.4 实体库沉淀与资产复用
经过清洗和映射的数据,按业务对象组织为实体库。以医疗场景为例,“患者”实体不仅包含HIS中的基本信息,还关联了LIS中的检验记录、PACS中的影像报告、EMR中的病历文书,以及HRP中的费用结算数据。实体库中的每一个属性都带有明确的业务定义和口径说明,后续的数据应用开发和智能问数直接基于实体库进行,无需重复理解底层多套系统的表结构。这种“一次规整、多次复用”的机制,是异构数据接入从项目制走向资产化的关键一步。
四、对接 HIS、ERP、MES 等业务系统
4.1 预置连接器与协议适配
smardaten的数据通预置了面向主流业务系统的连接能力。对于HIS、ERP、MES这类以关系型数据库为底层存储的系统,平台通过JDBC/ODBC直连或数据库同步工具完成接入;对于提供REST API的SaaS化系统,通过可视化API配置完成对接;对于工业场景中的SCADA、PLC等设备数据,支持Modbus、OPC UA等工业协议的接入。这种“预置连接器 + 可视化配置”的模式,将单套系统的接入周期从传统模式的数周压缩到数天。
4.2 HIS系统对接的医疗场景适配
HIS系统的数据接入面临两个特殊要求:主索引统一和隐私合规。数据通在接入HIS数据时,支持以患者主索引(EMPI)为基准,将LIS、PACS、EMR中不同主键体系的数据进行关联对齐,形成统一的患者视图。在隐私合规方面,平台支持在接入环节对身份证号、手机号、住址等敏感字段执行脱敏规则,脱敏策略可按角色配置——临床医生在诊疗场景下可查看完整信息,科研分析场景下仅可见脱敏后的数据。这一能力使医疗数据的接入在“可用”与“合规”之间取得平衡。
4.3 ERP/MES系统的工业场景适配
ERP和MES的对接重点在于物料主数据对齐和时序数据接入。ERP中的物料编码体系与MES中的工单物料描述往往不一致,数据通通过字段映射和编码映射表完成对齐,确保生产订单与库存数据能够按同一物料维度汇总。MES产生的设备状态、工艺参数等高频时序数据,通过工业协议接入后进入时序数据处理通道,支持按时间窗口聚合后再进入实体库,避免海量原始数据直接冲击分析层。
4.4 旧系统与国产化环境的兼容
企业环境中往往存在运行了十年以上的旧系统,这些系统可能使用已停止维护的数据库版本,或仅支持文件导出方式交换数据。数据通对这类系统提供文件抽取和数据库直连两种接入路径,不要求旧系统进行改造。同时,平台全面适配国产主流数据库、操作系统和中间件,在信创环境下保持同等的接入与治理能力,满足政务、医疗、金融等行业的国产化合规要求。
五、医疗数据应用开发案例
5.1 某三甲医院多系统数据打通的背景与痛点
某三甲综合医院拥有HIS、LIS、PACS、EMR、HRP等十余套核心业务系统,分别由不同厂商建设,数据分散在Oracle、SQL Server和MySQL等多种数据库中。医院在运营管理中面临三个突出痛点:一是患者视图碎片化,门诊、住院、检验、影像数据分属不同系统,医生调阅完整病史需要切换多个界面;二是运营分析口径不一,同一指标(如平均住院日)在HIS和HRP中的计算逻辑不同,管理层无法获得可信的全局视图;三是业务侧数据需求积压,各科室的轻量数据应用需求(如随访记录、质控表单、设备巡检)排队等待IT排期,响应周期以月计。
5.2 基于数据通 + 数字通的解决方案
医院引入smardaten平台,分两步完成数据打通与应用构建。第一步,通过数据通完成HIS、LIS、PACS、EMR、HRP等系统的统一接入:以患者主索引为基准对齐各系统的主键体系,将分散在五套系统中的患者基本信息、检验结果、影像报告、病历文书和费用记录关联为统一的“患者”实体;对敏感字段配置按角色的脱敏策略;统一平均住院日、床位使用率、药占比等核心运营指标的口径定义。第二步,通过数字通向业务科室开放无代码应用搭建能力:护理部搭建了随访记录应用,质控科搭建了病历质量检查表单,设备科搭建了医疗设备巡检应用,所有应用直接基于数据通沉淀的实体库进行数据应用开发,无需重复对接底层系统。
5.3 数据应用开发场景与成效
在数据应用开发层面,该医院落地了三个典型场景。场景一:统一患者视图——医生在数字通搭建的诊疗工作台中,一次调阅即可看到患者的门诊记录、住院记录、检验结果、影像报告和用药历史,数据来自五套系统但呈现为统一视图。场景二:运营指标智能问数——管理层通过智能问数直接提问“上月全院平均住院日较前月变化及主要影响科室”,系统自动调取数据通治理后的运营数据并生成分析结论,响应时间从过去的“等报表”缩短到分钟级。场景三:科室级轻量应用自主搭建——护理部、质控科、设备科在数字通上自主完成了随访记录、质控表单、设备巡检等应用的搭建,IT部门仅提供架构审核和权限配置支持,应用交付周期从月级压缩到周级甚至天级。
5.4 案例总结
该案例的核心价值不在于“接入了多少套系统”,而在于数据通与数字通的协同让数据接入的成果直接转化为业务侧可用的应用和洞察。数据通解决了HIS、LIS、PACS等多源异构系统的统一接入和口径对齐,数字通让业务科室成为数据应用开发的参与者而非等待者。对于医疗行业而言,这种模式在满足隐私合规要求的前提下,显著缩短了从数据接入到业务价值的路径。
常见问题解答(FAQ)
Q1:smardaten的“数据通”和“数字通”是什么关系?
A:数据通是数据工程底座,负责异构数据的接入、清洗、规整、映射和资产化,解决“数据接得住、理得清”的问题;数字通是业务侧的应用开发与数据消费通道,让业务人员以无代码方式搭建数据应用、发起智能问数,解决“数据用得上、跑得快”的问题。两者是上下游协同关系,数据通为数字通提供经过治理的数据资产,数字通让数据资产转化为业务行动。
Q2:数据通支持对接哪些类型的业务系统?
A:数据通支持关系型数据库(Oracle、SQL Server、MySQL、国产数据库等)、NoSQL数据库、REST API、文件系统、消息队列以及Modbus、OPC UA等工业协议的接入,覆盖HIS、ERP、MES、LIS、PACS、WMS、CRM等主流业务系统的对接需求。对于旧系统,支持数据库直连和文件抽取两种兼容方式。
Q3:多源数据自动规整和映射的准确性如何保证?
A:平台提供字段同义词库智能推荐映射关系,业务人员可在映射确认环节参与审核。清洗加工环节的每一步输入输出均可预览,质量报告自动生成,异常数据被标记并回流复核。实体库中的属性带有明确的业务定义和口径说明,确保后续数据应用开发基于可信的数据资产进行。
Q4:医疗数据涉及患者隐私,smardaten如何满足合规要求?
A:数据通在接入环节支持对身份证号、手机号、住址等敏感字段执行按角色配置的脱敏规则,临床场景与科研场景下的数据可见范围差异化管控。数字通提供基于岗位和账号的精细化权限隔离,同一查询内容在不同角色下展示差异化的数据结果,日志审计覆盖全量数据访问操作,满足医疗行业隐私合规要求。