大数据处理语言：U-SQL 介绍

由于之前提到了除了删除@标识符之外，还想要对 mentions 做其他清理工作，所以该代码集还包含了一个 cleanup_mentions 函数，用来在删除@之后做其他处理。

为什么选择U-SQL

通过上述介绍，希望您已经窥测到了我们对 U-SQL 的想法，以及 U-SQL 是如何将查询以及大数据处理变得简单的。接下来的几周里，我们会进一步介绍该语言的设计逻辑，并会给出一些示例代码即应用场景，请参见Azure 博客大数据专题。我们会深入探讨一下特性：

• 通过模式匹配操作文件集合

• 使用（分区）表

• 对 SQL Azure 数据库进行联邦查询

• 将 U-SQL 代码封装为视图，表型数据函数，过程

• SQL 窗体函数

• 使用C#编写用户定义操作（定制抽取，处理过程）

• 复合类型（MAP，ARRAY）

• 使用 U-SQL 树立数据管道

• U-SQL 对物联网分析中lambda架构的支持

U-SQL 将大数据处理变得简单：

• 统一了声明行查询语言与复杂代码

• 统一了结构化查询与非结构化数据

• 统一了本地和远程查询

• 一旦上线，即可提高生产力和敏捷性

不只是 U-SQL - Auzre 数据湖为您的所有数据创建生产力

我们旨在将 Azure 数据湖建立成最有用的集编写，调试和优化各种规模数据功能的强大工具，U-SQL只是其中一个环节。通过对编写与监控 Hive 作业的全面支持， 我们开发了基于 C# 的编码模型，他可以创建用于流处理的 Storm 作业，而且从创建，到执行，支持作业生命周期的每一阶段。Azure 数据湖使得您可以专心于业务逻辑而不是调试分布式环境。我们的目标就是将大数据技术变得更加简单，被更多数人使用：大数据专家，工程师，数据科学家，分析师以及应用开发人员。

（编辑：PHP编程网 - 湛江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!