微软计划用即将推出的“Pendleton”工具解决“数据清洗”问题

随着愈发强调AI技术的重要意义再配合其作为工具供应商的角色定位，微软公司此次在传统程序员之外、决定面向数据科学家开发工具的决策可谓毫不令人意外。

根据微软研究部门在今年早些时候发布的声明，数据科学家们目前将80%的工作时间用于数据的信息提取与清理工作——即“数据清洗”。微软公司希望帮助其解决这一难题。

Pendleton项目由此诞生。

一年之前，我第一次听说微软公司正在开发一款代号为Pendleton项目的新型机器学习相关工具。不过在此之后，由于缺少充分的背景信息，我们一直无法对Pendleton作出深入解析。

不过根据最近发布的Pendleton“入门介绍”文档，我们得知Pendleton项目在微软心目中的具体定位：

“Pendleton项目提供一套灵活且具备可扩展性的工具集，旨在帮助您探索、发现、理解数据内容并修复其中的问题。其允许用户以多种形式实现数据消费，并将数据转换为更适合您实际用例的新形式。”

Pendleton是一款客户端应用，面向Windows与OS X/MacOS平台。其运行时利用Python设计，且依赖于多种Python库。

根据一位知情人士的说明，Pendleton项目是一款面向数据科学家的工具，专门用于进行数据筹备与清理。该工具能够实现错误列删除、列格式更改以及丢失数据处理等。另外，其还提供各类分析工具，可帮助数据科学家获取数据集中包含的具体内容。Pendleton项目可以从SQL Server、Azure Blob以及数据湖当中读取数据，亦可与本地PC文件内读取信息。

微软公司已经在内部对Pendleton项目测试了近一年时间——实际周期可能更长。我还没有听说软件巨头打算如何发布这款工具，但似乎其确实在酝酿相关计划。

在我看来，微软研究部门的PROSE（即项目综合使用示例）团队可能负责为Pendleton项目“开发数据清洗的项目综合技术，并将其纳入实际产品”，或者说至少有参与其中。

与此同时，在数据科学与大数据集方面，微软公司与Facebook则于今天公布了其共同开发的新型模型格式，其可确保各类深度学习模型在不同框架之间实现往来转移。

这项新标准被称为开放神经网络交换（简称ONNX），其允许开发人员在微软Cognitive Toolkit、Facebook Caffe2以及PyTorch等AI框架之间将模型往来迁移。ONNX代码的初始版本及相关说明文档目前已经以开源项目形式公布在GitHub之上。