微软开源了MMLSpark,用于Apache Spark的的深度学习库。MMLSpark可以与微软认知工具包和OpenCV完美整合。
微软发现,虽然SparkML可以建立可扩展的机器学习平台,绝大多数开发者的精力都耗在了调用底层API上。MMLSpark旨在简化PySpark中的重复性工作。
以UCI的成人收入普查数据集举例,使用其他项目预测收入:
如果直接使用SparkML,每一列都需要单独处理,整理为正确的数据类型;在MMLSpark中只需要两行代码:
model = mmlspark.TrainClassifier(model=LogisticRegression, labelCol=” income”).fit(trainData)
predictions = model.transform(testData)
深度神经网络(DNN)在图像识别和语音识别等领域不逊于人类,但是DNN模型的训练需要专业人员方可进行,与SparkML的整合也十分不易。MMLSpark提供了方便的Python API,可以方便地训练DNN算法。MMLSpark可以方便地使用现有模型进行分类任务、在分布式GPU节点上进行训练、以及使用OpenCV建立可扩展的图像处理管线。
以下3行代码可以从微软认知工具集中初始化一个DNN模型,从图像中抽取特征:
cntkModel = CNTKModel.setInputCol(“images”).setOutputCol(“features”).setModelLocation(resnetModel).setOutputNode(“z.x”)
featurizedImages = cntkModel.transform(imagesWithLabels).select([‘labels’,’features’])
model = TrainClassifier(model=LogisticRegression,labelCol=”labels”).fit(featurizedImages)
MMLSpark已经发布到Docker Hub上,使用下面的命令即可在单机部署:
docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark
MMLSpark使用MIT协议授权。
End.
相关资讯
最新热门应用
智慧笑联app官网最新版
生活实用41.45MB
下载盯链app安卓最新版
生活实用50.17M
下载学有优教app家长版
办公学习38.83M
下载九号出行app官网最新版
旅行交通28.8M
下载货拉拉司机版app最新版
生活实用145.22M
下载全自动抢红包神器2024最新版本安卓app
系统工具4.39M
下载扫描王全能宝官网最新版
办公学习238.17M
下载海信爱家app最新版本
生活实用235.33M
下载航旅纵横手机版
旅行交通138.2M
下载双开助手多开分身安卓版
系统工具18.11M
下载