能通吃Hadoop、Spark、Kafka等开源框架的微软Azure云端大数据平台HDInsight,近日该平台上释出了Spark除错工具包,可以支持Spark 2.3版及未来的新版本。搭配此款除错工具包,可以将Spark任务的工作图表、资料流予以视觉化,让Spark开发者处理资料管理、资料取样、监控及诊断任务时,更为顺利。
微软也公告,这款Spark除错工具包未来会释出更多新功能,包含关键路径分析、Data Skew及Time Skew问题分析等。
现在Spark除错工具包已经内建在HDInsight Spark历史纪录服务器,从Azure Portal进入的开发者,只要点选丛集仪表板、Spark历史纪录服务器的选项,就能存取功能。
在HDInsight中的Spark历史纪录服务器(Spark History Server),微软现在新增了两个新功能,分别是Graph Tab及Data Tab。首先是Graph Tab,提供使用者视觉化的互动体验。例如,Spark工作图表会列出任务执行的细节,包含各阶段中资料的输入、输出资讯,开发者可以重新回放(playback)功能,重现完整的任务程序。借此功能,可以进一步诊断工作流程中的性能表现、资料处理时间,找出每个流程中出现的离群值,改善应用程式的流畅度。
再者是Data Tab功能,支持开发者利用CSV格式,汇出输入、输出、搜索或者URL等数据,例如,资料科学家可以下载部分取样数据,在本地环境进行除错、执行任务。
微软这次推出的除错工具包,当中一个新功能是回放(Playback)。系统会列出完整的任务流程,在页面选单中,开发者可以指定Job ID、呈现资讯(如资料读取、写入)。借此,系统就会重现流程,开发者可以观察流程中的瓶颈为何,进而改善性能。
相关资讯
最新热门应用
智慧笑联app官网最新版
生活实用41.45MB
下载盯链app安卓最新版
生活实用50.17M
下载学有优教app家长版
办公学习38.83M
下载九号出行app官网最新版
旅行交通28.8M
下载货拉拉司机版app最新版
生活实用145.22M
下载全自动抢红包神器2024最新版本安卓app
系统工具4.39M
下载扫描王全能宝官网最新版
办公学习238.17M
下载海信爱家app最新版本
生活实用235.33M
下载航旅纵横手机版
旅行交通138.2M
下载双开助手多开分身安卓版
系统工具18.11M
下载