精华内容
下载资源
问答
  • TDH中的Transporter

    千次阅读 2021-02-22 10:15:57
    Transporter是一个数据etl工具,支持从不同数据源获取数据,对数据的复杂转换操作,并最终将数据落地成不同格式。Transporter左侧连接数据源,如关系型数据库,右侧连接目标系统,如Inceptor。支持用户将数据从RDBMS...

    本文主要介绍Transwarp的etl工具——Transporter,本文依托于星环的官方文档,通过一个简单的实例来让大家熟悉Transporter的使用。关注专栏《Transwarp系列》了解更多Transwarp的技术知识~


    目录

    一、Transporter简介

    1.1 简介

    1.2 Transporter的特点

    二、Transporter实例

    2.1 案例一

    2.1.1 业务需求

    2.1.2 业务实现

    2.2 案例二

    2.2.1 业务需求

    2.2.2 业务实现


    一、Transporter简介

    1.1 简介

    Transporter是一个数据etl工具,支持从不同数据源获取数据,对数据的复杂转换操作,并最终将数据落地成不同格式。Transporter左侧连接数据源,如关系型数据库,右侧连接目标系统,如Inceptor。支持用户将数据从RDBMS迁移到Hadoop,再进行数据分析和挖掘工作。

    1.2 Transporter的特点

    1、支持丰富的数据源

    Transporter支持跨集群的数据导入,并且可直接从Oracle/DB2等传统关系数据库将数据导入至TDH,同Sqoop相比,可以在不失效率的情况下简化繁琐的数据流定义步骤以及复杂的类型转换等问题。支持导入CSV、定长文件、JSON、XML等文件。同时支持导入OGG、Shareplex、DataStage产生的增量文件,实现准实时的数据同步。此外,还支持通过Kafka等方式读入流数据。

    2、支持丰富的导出格式

    用户可以通过Transporter直接导出数据至传统关系数据库、ElasticSearch,以及实现跨集群导出。Transporter支持多种数据导出格式,如CSV、JSON、XML,并且支持Inceptor中所有类型的表:普通ORC、ORC交易表、Holodesk、Hbase、Hyperdrive。

    3、支持多种数据转换操作

    提供多种常见的数据转换操作,帮助实现数据的清洗,加工。其中的关键操作有:字段映射功能、数据关联、集合操作、聚合操作、过滤、去重。

    4、轻量的应用

    采用Web交互的方式,实现数据流的设计。Transporter只是用于数据流设计和调度工作流的服务平台,本身不包含执行引擎,不负责任务实现,而是将工作任务提交到Inceptor或者其他计算引擎来完成,因此是极为轻量的应用。

    5、高度并发

    利用分布式集群进行数据流的并行计算,自动分析数据流依赖,实现数据流作业中最大可能的并行化。

    6、高吞吐

    擅长大数据量的同步,峰值数据吞吐率可达到40M/秒/节点。

    7、数据质量和安全保障

    提供事务级别的数据同步,确保目标表与原表拥有相同的数据一致性。另外还提供了完整的权限控制机制,用于保证数据的安全。

    二、Transporter实例

    2.1 案例一

    2.1.1 业务需求

    现在有两份人员名单,需要将其合并后写入Inceptor。 

     

    2.1.2 业务实现

    1、为了方便测试,首先将两份数据上传到hdfs的目录下,如下所示 :

    2、新建数据流,进入设计模式。

    3、选择并拖出CSVReader模块并修改Reader参数。

    同样的方法将two.csv文件读进来,如下:

    4、选中转换模块中的union模块,并连接数据源模块与union模块。

    5、拖出TextWriter,并连接转换模块与目标模块

    6、修改TextWriter的参数

    7、完成后,点击右上角的保存按钮进行保存,并进入调试模式。

    如果调试没有问题,此处所有组件图表均为绿色。

    查询数据库中的数据可以发现数据已经入库到对应的表中:

    8、调试无误后点击下面的图表进行发布。

    2.2 案例二

    2.2.1 业务需求

    查询得到年龄大于24岁的人员名单并将数据导出到csv文件。

    2.2.2 业务实现

    1、同样的,新建数据源

    2、选择CSVWriter模块并修改参数,如下:

    3、选择过滤模块并编辑参数

    4、选择CSVWriter目标模块并编辑参数

    5、保存并调试,发现数据已经导出到对应的目录中

     

    以上就是本文的所有内容了,通过两个简单的实例,大家一定对Transporter有了一个初步的认识,本文到此已经接近尾声了,你们在此过程中遇到了什么问题,欢迎留言,让我看看你们都遇到了哪些问题~

    展开全文
  • transporter文件 .zip

    2020-03-12 18:46:29
    com.apple.amp.itmstransporter
  • Transporter

    2020-10-19 10:22:03
    解决Transporte上传App一直验证中,导致没法上传App,可能是网络加载某些配置没下载到的问题。
  • windows版Transporter使用方法

    千次阅读 2020-08-18 06:33:41
    我们用h5开发的APP,需要将ipa文件上传到苹果开发者中心,才能将app发布到app store,但是苹果官方给我们提供的xcode或Transporter只能在mac电脑下安装,假如我们没有mac电脑,怎么上传ipa呢?下面我们讲解下在...

    我们用其它工具编译的ipa文件,需要上传到苹果开发者中心,才能将app发布到app store,但是苹果官方给我们提供的Transporter只能在mac电脑下安装,但不是每个人都有mac电脑,下面我们讲解下在windows下上传ipa的方法。

    首先,我们需要有苹果开发者账号,登录苹果开发者中心后台:

    苹果开发者中心:https://developer.apple.com/cn/

    使用香蕉云编这个平台上传ipa

    上传平台:https://www.yunedit.com/ipadetail

    下面是操作步骤:

    1、登录苹果开发者中心后台,进入app store connect,新建一个app。

     

    2、点击新建的app进入app管理界面,新建一个版本准备发布。这时候它需要选择一个构建版本,这时候就需要使用下一步的上传工具将ipa上传到苹果开发者中心。

     

    3、使用香蕉云编上传ipa文件,使用很简单,直接选择你编译好的ipa上传就行。

     

    4、然后输入苹果开发者中心的专用密码,就可以上传ipa了。
     

     

    5、最后,大概等几分钟,回到第二步,就可以在苹果开发者中心的构建版本里见到这个文件了。

     

     

    假如你还需要了解证书的创建流程,可以参考这篇:

    https://www.cnblogs.com/liangsufen/p/14474893.html

     

     

    展开全文
  • Transporter 2.1.0

    2020-12-22 22:46:27
    使用Transporter将APP上传到App Store,卡在正在验证. 找到repository.xml中,jason.gao换成自己名字, 将com.apple.amp.itmstransporter放到/Users/lichuang/Library/Caches这个路径下.重新启动Transporter上传APP
  • AppStore的上传工具被墙,需要预先下载缓存文件 使用办法: 1、删除这个缓存,用压缩包代替 /Users/【用户名】/Library/Caches/com.apple.amp.itmstransporter 2、地替换下面文件内的字符串“cay”为你的...
  • 下载此文件,把解压后的"com.apple.amp.itmstransporter"目录放到"/资源库/Caches/"目录下,覆盖你原有的"com.apple.amp.itmstransporter"目录,并且将新的"com.apple.amp.itmstransporter"目录下/obr/2.0.0/目录下...
  • 苹果的上传应用工具 Transporter 虽然挺好用,但是估计也不少人跟我一样遇到过这样的问题,就是一直卡在 正在验证,不采取点措施估计能一直卡下去~ 【下载这个,mac 直接运行,秒上传成功~】
  • Application loader上传一直卡住在appsotre验证状态,其实是上传组件Transporter在更新,资源被墙无法下载或者等超级久,本人已将下载好的最新的缓存文件打包,下载放入Caches文件夹即可。
  • WX20201121-100731.pngTransporter上传卡在——正在验证 APP - 正在通过...解决方案一:1、终端运行命令/Applications/Transporter.app/Contents/itms/bin/iTMSTransporter2、如果有报错信息 https://...jar,把 j...

    e6da0724f95a

    WX20201121-100731.png

    Transporter上传卡在——正在验证 APP - 正在通过App Store进行认证

    如果一直命令一直卡着,也无法上传成功,可以试试下面的办法。

    解决方案一:

    1、终端运行命令

    /Applications/Transporter.app/Contents/itms/bin/iTMSTransporter

    2、如果有报错信息 https://...jar,把 jar 文件下载下来,放入 ~/Library/Caches/com.apple.amp.itmstransporter/obr/2.2.0/

    3、再次执行终端命令

    /Applications/Transporter.app/Contents/itms/bin/iTMSTransporter

    4、出现以上结果说明正常

    [2020-03-03 12:28:39 CST] INFO: Configuring logging...

    [2020-03-03 12:28:39 CST] INFO: Logging level set to eXtreme

    [2020-03-03 12:28:39 CST] INFO: Transporter is searching for new software components.

    [2020-03-03 12:28:39 CST] INFO: INFO: using cached repository.xml file.

    [2020-03-03 12:28:40 CST] INFO: Update check complete.

    [2020-03-03 12:28:41 CST] DEBUG: Attempting refresh of configuration data from https://contentdelivery.itunes.apple.com/transporter/Defaults.properties

    [2020-03-03 12:28:41 CST] DEBUG: Configuration refresh successful.

    [2020-03-03 12:28:41 CST] DEBUG: Saving configuration to local path: /Users/iosdevlog/Library/Caches/com.apple.amp.itmstransporter/Defaults.properties

    usage: iTMSTransporter [-help | -info | -m | -version] [-o ] [-v

    ] [-WONoPause ] [-Xmx4096m]

    iTMSTransporter : iTunes Store Transporter 2.0.0

    -help Show this help. If a mode value is specified, show help specific

    to that mode.

    -info The -info option should be used by itself and returns the

    copyright notice and acknowledgements.

    -m The -m option specifies the tool's mode. The valid values are:

    verify, upload, provider, diagnostic, lookupMetadata,

    createArtist, lookupArtist, status, statusAll,

    createMetadataTicket, queryTickets, generateSchema, transferTest,

    downloadMetadataGuides, listReports, requestReport

    -o The -o option specifies the directory and filename you want to use

    to log output information. By default, Transporter logs output

    information to standard out. If you specify a filename,

    Transporter logs the output to the specified file, as well as to

    standard out.

    -v The -v option specifies the level of logging. The five values

    are: off, detailed, informational, critical, eXtreme.

    -version The -version option should be used by itself and returns the

    version of the tool.

    -WONoPause The -WONoPause option is only valid on Windows and its value can

    be 'true' or 'false'. If an error occurs during script execution,

    the process idles because the message 'Press any key...' is

    displayed on the console and the system awaits a keypress. To

    avoid this behavior, set this property to true

    -Xmx4096m Specifies that you want to change the Java Virtual Machine's (JVM)

    allocated memory by increasing the JVM heap size. By default,

    Transporter uses a 2048MB heap size. You can use the -Xmx4096m

    option to specify a 4-gigabyte (GB) heap size. Apple recommends,

    if needed, increasing the heap size to 4096MB by specifying the

    -Xmx4096m (or -Xmx4g) option and adjusting as needed.

    [2020-03-03 12:28:41 CST] DBG-X: Returning 0

    解决方案二:

    上传卡住的原因:

    Transporter安装上第一次打开后,会在硬盘目录:/用户/你的电脑登录账号名/资源库/Caches/com.apple.amp.itmstransporter/目录下下载一些缓存文件,这些缓存文件没有下载完,或者下载失败没下载完时,使用Transporter去提交应用这个页面就会卡住或者这个页面很慢。

    /Users/你的电脑登录账号名/Library/Caches/com.apple.amp.itmstransporter

    可以下载这个文件夹直接覆盖自己的原有com.apple.amp.itmstransporter文件夹,如果原本没有也直接复制进去相当于创建了。

    第一步

    下载链接里的文件,把解压后的"com.apple.amp.itmstransporter"目录放到"/用户/你的电脑登录账号名/资源库/Caches/"目录下,覆盖你原有的"com.apple.amp.itmstransporter"目录。

    e6da0724f95a

    WX20201121-100229@2x.png

    第二步

    将新的"com.apple.amp.itmstransporter"目录下/obr/2.0.0/目录下的repository.xml文件中的所有"Simpsons"修改为你自己电脑的登录账号名,否则Transporter执行时会在错误的路径下找资源文件。

    e6da0724f95a

    WX20201121-100110@2x.png

    第三步

    再次尝试Transporter上传。

    第四步

    如果时间App Store认证时间超过两分钟,建议手机开4g热点,电脑连接后再上传试试。

    展开全文
  • Transporter 上传iPA上架

    2021-05-13 15:15:31
    用xCode上传一直失败,将Transporter 应用现已上架 Mac App Store,但是需要注意的是,用户需要一个 App Store Connect / iTunes Connect / 公司账号才能使用 ...2 下载并开发账号登录Transporter(登录账号构建一..

    用xCode上传一直失败,将Transporter 应用现已上架 Mac App Store,但是需要注意的是,用户需要一个 App Store Connect / iTunes Connect / 公司账号才能使用 Transporter。(最近苹果服务器连接一直有问题,时好时坏,用xCode上传总是出现连接错误)

    上传步骤:

    1 打包导出二进制(正常的点击xCode上传,用Transporter需要选下面的导出api);

     

    2  下载并开发账号登录Transporter(登录账号构建一个发布版本);

    3 api拖进去或者点击加号选择API (上传会进行检测,如果有问题会报错并有提示,根据提示修改再上传即可);

    展开全文
  • Transporter上传包慢解决方案

    千次阅读 2020-08-05 09:29:09
    前几天用清理垃圾软件结果Transporter就上传不上去了,网上找了好长时间才知道:Transporter 安装上第一次打开后,会在硬盘~/Library/Caches/com.apple.amp.itmstransporter目录下下载一些缓存文件,这些缓存文件...
  • 可以使用transporter_fix GitHub地址:https://github.com/LinXunFeng/transporter_fix 执行文件下载地址:点我下载下载后双击运行即可。...transporter_fix默认是从github上下载com.apple.amp.itmstrans...
  • 适用于Xcode11.3.1和Transporter.app有时候上传iOS app到app store时一直卡在Authenticating with the App Store,不管适用Xcode11或是Transporter,就这样一直处于这个状态。下面说具体解决问题的办法1#删除缓存...
  • Transporter提交app到App Store

    千次阅读 2020-02-20 15:10:41
    会在硬盘目录:/用户/你的电脑登录账号名/资源库/Caches/com.apple.amp.itmstransporter/目录下下载一些缓存文件,这些缓存文件没有下载完,或者下载失败没下载完时,使用Transporter去提交应用这个页面就会卡住或者...
  • Xcode11使用Transporter上传AppStore时卡住解决方式,亲测可用在Authenticating with the iTunes store(即AppStore认证)卡住解决办法(网络连VPN,不然会很卡)可能碰到的问题1解决方式可能碰到的问题2解决方式正在...
  • Transporter 安装 Go安装 Git安装 Clone transporter源码 Build transporter源码 准备MongoDB 数据 建立elasticsearch索引 配置Transporter 1. 初始化基本的pipeline 2. 设置pipeline的source,transform,...
  • 会在硬盘目录:/用户/你的电脑登录账号名/资源库/Caches/com.apple.amp.itmstransporter/目录下下载一些缓存文件,这些缓存文件没有下载完,或者下载失败没下载完时,使用Transporter去提交应用这个页面就会卡住或者...
  • 本文介绍安装和使用Transporter在Linux计算机之间快速发送文件的方法,很多Linux用户通过SCP、Samba甚至FTP等工具来回发送文件,虽然这些工具肯定能够完成工作,但这并不是一个快速而简单的过程,所以Transport就能...
  • 方法一其实就是因为iTMS Transporter第一次启动时需要去google下载一些东西,所以卡死。使用浏览器代理,让它下载完后就能正常使用了。具体方法:开代理后,控制台运行:/Applications/Transporter.app/Contents/...
  • 最近一次上传IPA时发现Transporter会卡在认证的时候,一直转圈。之前上传快一些只要几分钟就上传成功,结果这次上传了半个多小时任然没动静,我眉头一皱,发现事情并不简单。大致搜索了下网上的步骤,很快就出现了...
  • 首次使用Transporter时,会下载一些准备文件到路径/用户名/资源库/Caches/com.apple.amp.itmstransporter/下,如果这些文件没有下载完、缺失或jar组件太旧,使用Transporter去提交应用就会卡在Authenticating with ...
  • 会在硬盘目录:/用户/你的电脑登录账号名/资源库/Caches/com.apple.amp.itmstransporter/目录下下载一些缓存文件,这些缓存文件没有下载完,或者下载失败没下载完时,使用Transporter去提交应用这个页面就会卡住或者...
  • 重新下载安装插件(下载文件大小约60M+,建议科学上网) /Applications/Transporter.app/Contents/itms/bin/iTMSTransporter // 针对Transporter // /Applications/Xcode.app/Contents/SharedFrameworks/...
  • Transporter 上传报错 下载 com.apple.amp.itmstransporter.zip 压缩包 下载地址 解压压缩包打开 com.apple.amp.itmstransporter ->obr->2.0.0把repository.xml文件中的XXXXXX改为电脑当前登录的用户名 ...
  • App Store Connect通过 Transporter App MAC版 上传 App 的二进制...或者 mac App Store 搜索 Transporter 下载使用 Transporter 是苹果官方上传工具 不用找旧版xcode 再去扒出来 Application Loader 官方介绍 ...
  • Transporter 安装上第一次打开后,会在硬盘目录:~/Library/Caches/com.apple.amp.itmstransporter 目录下下载一些缓存文件,这些缓存文件没有下载完,或者下载失败没下载完时,使用Transporter去提交应用这个页面就...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 981
精华内容 392
热门标签
关键字:

transporter下载