大数据分析和数据探索在现代决策制定中扮演着至关重要的角色,通过深入的数据分析和挖掘,可以从海量的数据中揭示出潜在的趋势、模式和关联,帮助企业更直观地理解数据背后的故事,从而做出更加明智的决策,提升业务运营的效率和效果。近期,腾讯云WeData 全新推出 Notebook 探索能力,为企业从大数据向数据科学迈进提供快速、高效、智能的数据分析和探查工具。
Notebook探索功能优势和亮点
Jupyter Notebook 是一种基于 Web 的交互式计算环境,因其交互性强、多语言支持、强大的数据可视化以及代码和文档整合能力,为数据分析处理和共享提供了很大的便利,成为数据科学和机器学习领域从业人员的不二之选。
WeData Notebook探索集成了基于腾讯云Cloud Studio的Jupyter Notebook,提供在线的交互式开发调试IDE,具有更优化的配置、更便捷的使用方式,以及更好的大数据和AI生态融合。
亮点一:AI原生能力联动全面升级,操作便捷、更智能
预安装 Scikit-learn、Tikit、Pandas 等常用的依赖包,方便进行数据预处理、机器学习模型训练和数据预测性分析。
对接腾讯云AI引擎,支持连接腾讯云TI平台,将 Notebook 脚本提交至高性能平台进行训练。
内置腾讯云AI代码助手,可以协助完成代码编写、代码注释、代码纠错等工作,数据开发更加轻松、高效、智能。
亮点二:无缝对接大数据引擎底座,链路融合、更易用
Noteobok 工作空间支持绑定腾讯云 EMR 和 DLC 大数据引擎,自动获取集群配置信息,可直接读取大数据存算引擎中的数据进行交互式分析。
内置了面向腾讯云 EMR 和 DLC 引擎的最佳实践教程,支持用户开箱即用,快速上手体验。
亮点三:一键创建工作空间,即开即用、更低门槛
用户无需手动安装 Python 环境和配置环境依赖,在 WeData 中一键创建 Notebook 工作空间,即开即用。
预置 Jupyter Notebook 镜像,支持 Python、R、Markdown 等多种编程语言,以及多 Python 版本。
亮点四:Serverless弹性资源,成本优化、更安全
Notebook 工作空间独享存储和计算资源,兼顾项目间协作与用户间隔离,个性化依赖配置避免互相干扰,具有更高安全性。
资源更加弹性,采用细粒度的按量付费模式,不使用不计费,Notebook Kernel 支持自动停止和手动唤醒,用户具有更低使用成本。
Notebook探索使用场景与最佳实践
接下来我们以一个示例讲解一下 Notebook 探索的使用场景与流程,该示例包含了 Notebook 探索的三大典型使用场景:
示例已经内置到 WeData 产品中,您可以登录进行体验,在第四章节,我们会介绍如何体验和购买 WeData Notebook 探索。
数据分析与处理
示例1:将 EMR Hive 中的一张数据表导入 Pandas DataFrame,完成数据准备,并进行数据预览
示例2:使用 Pandas 的函数对表数据格式进行转换和清洗
机器学习建模
示例1:将数据集划分为训练集和测试集
示例2:创建 Prophet 时间序列模型,使用训练集开展预测模型训练,使用测试集进行模型准确性的评估。
(复制下列链接至浏览器打开:https://facebook.github.io/prophet/docs/quick_start.html )
数据可视化
示例1:绘制测试集的实际值和数据预测值散点图,方便对模型训练结果进行直观评价。
示例2:以时间维度,呈现股价模型预测趋势。
如何体验和购买
1、如果您还不是 WeData 用户,请先开通 WeData 服务。
目前 WeData 面向新用户提供多个优惠活动,您可以9.9元购买3个月 WeData专业版、19.9元购买3个月WeData企业版
(复制下列链接至浏览器打开:https://cloud.tencent.com/act/pro/2023seasonbigdata?from=19855)
2、如果您已经是 WeData 以上地域的付费用户,可以复制邀测链接到浏览器打开,申请试用,后台工作人员会第一时间审核并为您开通服务。
(复制下列链接至浏览器打开:https://cloud.tencent.com/apply/p/vrq113hwvi)
目前 WeData Notebook 探索已上线国内站-北京和上海地域、国际站-新加坡地域,邀测期间可免费使用 Notebook 探索功能,邀测期结束后将进行商业化计费。
3、上述两个服务开通后,进入WeData控制台进行使用,更多内容请点击阅读原文前往产品官网进行了解。
总结与展望
腾讯云 WeData Notebook 探索是一款集数据分析、模型训练、数据可视化为一体的交互式 Jupyter Notebook 开发环境,让数据可视化和预测性分析变得更加简单便捷,帮助企业打通数据应用的最后一公里。未来,Notebook探索会进一步加强与WeData编排空间的融合,借助WeData强大的工作流编排和周期性调度能力,实现数据汇聚、数据开发、数据分析全链路流程一体化、自动化。加强对AI训练场景的支持,引入TensorFlow和Pytorch等AI训练框架和高性能GPU引擎底座,提供更灵活的自定义镜像能力,为AI应用开发提供坚实的基础设施和平台支撑。提升AI原生应用,结合自然语言处理与大模型提供更加精确的多轮对话结果,为数据探索和分析带来全新体验。