SAP数据源和SNP Glue 实现从源系统到目标系统

2023-11-29 15:30:43 字數 1606 閱讀 2944

当考虑sap和基于云的数据仓库(例如snowflake)之间的数据集成时,大多数架构师在考虑sap的业务应用程序时会考虑表。一般来说,这当然没有错,但是值得关注更多可能更适合的数据**。在这个glue文章系列中,我们将向您简述这些数据源,并且讨论不同数据源带来的一些限制和机会。

关于数据库表的提示和技巧

在我们查看除普通表以外的数据源之前,先了解一些关于数据库表的提示和技巧。

首先,需要注意的是:根据sap版本的不同,某些表可能不是那么容易访问。例如,sap会压缩一些表以有效管理数据库空间。在s/4hana中,由于采用基于列的表存储方法,压缩是很正常的。例如,sap r/3和ecc中的财务文档行项目等业务数据存储在表bseg中。在数据库中,这个表根本不存在—它与其他一些财务表一起存储在称为rfblg的blob样式表中。对于变更文档和其他一些主要的sap表也是如此。

查看表时需要考虑的事项

其次,即使在看**的时候,也有一些事情需要考虑:

有些表包含非结构化数据,您不希望将它们1:1地公开给任何数据湖。例如长文本,还有文件附件都可以直接存储在sap中。

关键字:在模式创建期间,即当您在数据仓库上创建sap-copycat表时,由于使用的关键字受到限制,您可能需要重命名一些列。这可能导致在sap和数据湖/数据仓库/数据网格之间映射“fun”。

sap表中的货币字段不带小数点。需要根据货币密钥的自定义来插入点。如果你所有的货币都是美元、欧元和其他带有两个小数点的货币,这可能不是问题。然而,如果您真的是全球化的,那么您的货币也会有或多或少的小数位。

sap erp最初是作为一种多租户sap构建的。第一个关键字段“client”基本上是一个租户字段。

您肯定希望使用一种集成解决方案,它能够以更小的开销和性能影响提供真正的增量捕获。您不希望定期从sap到云数据存储执行全表加载,以避免对sap的性能影响、复制大型表的长等待时间或数据过时。

忽略“virtual tables”从数据仓库按需获取数据,虽然技术上可行,但这可能导致sap数据库意外承受沉重负荷。

sap中的一些数据可能被归档的,即它存在归档文件中(可能在归档服务器上),而不是直接在sap表中。对于这种情况,可能值得研究您的集成解决方案可以访问sap归档的能力(snp glue可以做到这一点,而大多数经典的etl工具将会严重失败,考虑到数据已归档并且不再驻留在sap中)。

sap中要考虑的其他数据源

snp glue为所有这些数据源提供了现成的技术。当然,有些人可能比其他人更适合某种目的。例如,带有“重负载”的直接表访问对于大数据量可能更好,并且与使用snp glue的cdc一起用于近实时数据复制(以及streaming)非常强大。

然而,当您更喜欢在业务对象级别上工作时,您可以使用业务事件作为数据复制的触发器,例如,当sap用户在sd模块中创建出站交付时,将数据发送到消息**。在这个例子中, likp/lips 数据将在 sap 中保存过帐后直接发送到(例如)kafka。

我们经常听到的最后一个问题是:这也适用于sap rise吗? 答复是:是的,只是snp glue的设置和配置将与经典的本地安装略有不同。

如何实现能源数据可视化?

能源数据可视化是以图形化的方式展示能源相关数据的过程。它可以帮助人们更直观地理解和分析能源使用情况,从而有效指导能源管理和决策。本文将介绍如何实现能源数据可视化,以及它为能源领域带来的益处。点击立即预约项目咨询。首先,要实现能源数据可视化,我们需要收集和整理大量的能源数据。能源数据可以来自各个领域,...

工业实时历史数据库和时序数据库区别

随着工业互联网的快速发展,工业实时历史数据库和时序数据库成为了工业数据存储和处理的重要工具。然而,这两种数据库在设计理念 数据存储方式 数据处理方式和适用场景等方面存在明显的区别。第。一 设备数据采集。一般实时历史数据库在工业领域发展周期比较长,有了较为完整的生态,支持各种类型的设备的采集,通常支持...

人工智能 数据要素,数据资源,数据存储,应用等产业链大汇总

数据要素 数据资源 数据存储 产业链大汇总 ai算力产业合集总览 芯片相关,服务器及零部件,数据中心及设备等。数据资源大全 出版数据,影视数据,城市数据,生活数据,银行数据 运营商数据,财税数据,电力数据,数据,生活数据 地图数据,汽车数据,建筑数据,教育数据,企业数据,金融数据,交通数据,空间数据...