-
Spark日臻完善之小文件是否需要合并?
所属栏目：[大数据] 日期：2021-05-27 热度：136
我们知道，大部分Spark计算都是在内存中完成的，所以Spark的瓶颈一般来自于集群(standalone, yarn, mesos, k8s)的资源紧张，CPU，网络带宽，内存。Spark的性能，想要它快，就得充分利用好系统资源，尤其是内存和CPU。有时候我们也需要做一些优化调整来减少[详细]
-
5个可以帮助Pandas进行数据预解决的可视化图表
所属栏目：[大数据] 日期：2021-05-27 热度：104
数据科学和机器学习项目的结构化方法从项目目标开始。同一组数据点可以推断出一些有意义的信息。基于我们所寻找的，我们需要关注数据的另一个方面。一旦我们明确了目标，我们就应该开始考虑我们需要的数据点。这将使我们能够专注于最相关的信息集，而忽略[详细]
-
大数据在疫情期间对货运运营商的安全不可估量
所属栏目：[大数据] 日期：2021-05-27 热度：164
大数据对于避免许多危机非常重要。采用大数据应对冠状病毒疫情危机是一个很好的例子。越来越多的国家和组织正在使用大数据来促进社交距离，加强联系追踪并找到新的治疗方法。 在这场危机期间，某些行业比其他行业更依赖大数据来保障安全。这些包括货运运营[详细]
-
数据科学家vs数据分析师，到底有啥差异？
所属栏目：[大数据] 日期：2021-05-27 热度：126
副标题#e# 数据科学和机器学习两个领域很容易混淆，从职责描述上还是大家的普遍印象里，这两个职位都差不多。相较之下，数据科学和数据分析这两个职位更容易区分。它们虽有关键差别，但也有相似之处。 有人会说，要成为一名数据科学家，要先从数据分析的工[详细]
-
大数据和物联网是如何相辅相成的？
所属栏目：[大数据] 日期：2021-05-27 热度：169
物联网传感器持续接收来自大量连接的异构设备的数据。随着联网设备数量的增加，物联网系统需要具有可伸缩性，以适应数据的流入。分析系统处理这些数据并提供有价值的报告，这将使企业具有竞争优势。由于数据是基于其类型挖掘的，因此必须对数据进行分岔以[详细]
-
粉碎二八法则！每个数据科学家都得会一点SparkMagic
所属栏目：[大数据] 日期：2021-05-27 热度：184
著名的帕累托法则，即80/20定律，告诉我们：原因和结果、投入和产出、努力和报酬之间存在着无法解释的不平衡。即使是21世纪最具吸引力的工作，数据科学依然逃不脱这一定律。 商业数据科学家80%的时间都花在查找、清洗和准备数据上，这是数据科学家工作中效[详细]
-
社交大数据如何助力社会风险问题？
所属栏目：[大数据] 日期：2021-05-27 热度：85
副标题#e# 在网络空间治理中运用社交大数据 当今社会，社交媒体已经成为用户内容获取与危机风险传播的主要渠道。根据艾瑞咨询发布的《2019年中国移动社交行业研究报告》，我国移动社交媒体用户规模预计2020年将达到8.2亿。社交媒体的传播生态越来越呈现出全[详细]
-
智能家居应用高峰论坛圆满结束！
所属栏目：[大数据] 日期：2021-05-27 热度：172
智能家居创新发展与技术标准产业联盟执行理事长陈军、中国移动智慧家庭运营中心智能方案系统部总经理浦贵阳、青岛海信智慧家居系统股份有限公司华南区总经理成斌、美的置业旗下广东睿住智能科技有限公司技术公司总经理杨[详细]
-
从智能建筑到自我掌握的智慧建筑
所属栏目：[大数据] 日期：2021-05-27 热度：53
企业组织尤其是他们的设施和房地产经理，一直在寻求改善我们的工作环境以及我们在其中工作的建筑物。与此同时，他们希望提高成本效益、提高生产力，并且-如今创造为员工提供健康，有吸引力的工作场所至关重要。 智能建筑技术和物联网（IoT）为改善我们的工[详细]
-
千家智客新年寄语：科技助力智慧生活，未来已来
所属栏目：[大数据] 日期：2021-05-27 热度：190
在当前国际贸易环境风云突变以及新冠疫情双重危机之下，我们所有人都面临着百年未有之大变局，站在新一轮科学技术革命和产业变革的边缘，建筑智能化行业都在思考社会变革和产业发展中的数字化需求与机遇。而新冠疫情的出现，更是将科技赋能智慧生活推向新[详细]
-
智慧城市技术的以后：人工智能、大数据和云
所属栏目：[大数据] 日期：2021-05-27 热度：119
世界上超过一半的人口被城市的吸引力所吸引-繁荣、就业、机会、教育和娱乐的增长吸引着人们，令人难以拒绝。城市规划者和企业家通过为公民提供必要的服务和企业来推动这一发展，从而推动了城市地区的快速扩张。 反过来，这导致了诸如可持续发展目标、智能[详细]
-
Covid-19如何让智慧城市变得更加优秀？
所属栏目：[大数据] 日期：2021-05-27 热度：141
为了使城市能够应对这些变化，技术是关键。为了保持互联互通并交流问题和解决方案，智慧城市需要大量相互协作的技术。智慧城市的发展，特别是针对出行，围绕三个关键领域：更好的道路数据、现有基础设施的实时控制系统以及未来的车辆和车队技术与基础设施[详细]
-
2021年最值得关注的6大新兴数字转型方向
所属栏目：[大数据] 日期：2021-05-27 热度：136
1.零售/电子商务中的增强现实 什么是增强现实？ 增强现实（AR）是现实世界的增强版本，可通过使用数字视觉元素，声音或通过技术传递其他感官刺激来实现。 用例： 虚拟试衣间-客户可以在镜子/屏幕前想象自己穿着所选衣服，并检查颜色、设计和合身度。 商店导[详细]
-
COVID-19大流行正推动面部识别技术实践
所属栏目：[大数据] 日期：2021-05-27 热度：100
在全球范围内，人工智能和各种监控技术正逐步成为抗击新冠肺炎的武器。最近的例子是俄罗斯利用面部识别软件来维持封锁限制，而在法国，监控程序显然已经过测试，其最终目标是在指示封锁时利用视频监控摄像头来决定居民是否遵守社会距离规则和戴口罩。 随着[详细]
-
应用案例：PayPal如何利用大数据分析提升业绩和打击欺诈？（信息
所属栏目：[大数据] 日期：2021-05-27 热度：199
副标题#e# 编者注：经常海淘或出国的朋友对“PayPal”肯定很熟悉，在北美及欧洲，PayPal的地位相当于中国的支付宝。每天要准确无误的处理来自全球的交易数据，PayPal是如何做到的呢？这篇文章将详细为大家介绍。 PayPal，就是我们通常说的“PayPal贝宝国际[详细]
-
白话空间统计番外：再谈P值
所属栏目：[大数据] 日期：2021-05-27 热度：77
P值的计算一直是很多初学者们所纠结的问题。包括虾神我开始学习的时候也是一样……数学是一种科学的语言，追求的就是精确性——连在数轴上纯随机出现的孪生素数都被刷出下限来了，还有什么东西是不能精确识别的？ 但是你翻遍整个搜索引擎，发现问“P值计算[详细]
-
使用Power BI Pro进行Salesforce数据分析
所属栏目：[大数据] 日期：2021-05-27 热度：95
近日，微软发布了一个新的BI产品，叫做Power BI Pro。他是一个可以基于Microsoft Azure SQL、Microsoft Azure HDInsight、SharePoint列表、Excel文件、Hadoop文件、Microsoft Exchange、Facebook、Salesforce对象等数据源获取数据，并对获取的数据进行可视[详细]
-
大数阶乘（1000级别） 51Nod 1057
所属栏目：[大数据] 日期：2021-05-26 热度：152
题目链接： 51Nod 1057 问题描述 输入N求N的阶乘的准确值。 Input 输入N(1 = N = 10000) Output 输出N的阶乘 Input示例 5 Output示例 120 思路： 一百万亿进制(14个0)，大数相乘，求阶乘 代码： #includeiostream#includestdio.h#includealgorithm#define[详细]
-
hdu1018——Big Number（大数阶乘）
所属栏目：[大数据] 日期：2021-05-26 热度：103
Problem Description In many applications very large integers numbers are required. Some of these applications are using keys for secure transmission of data,encryption,etc. In this problem you are given a number,you have to determine the[详细]
-
SUM 大数取余 欧拉定理 二项展开 数论
所属栏目：[大数据] 日期：2021-05-26 热度：83
SumTime Limit:1000MS????Memory Limit:131072KB????64bit IO Format:%I64d %I64u Submit Status Description ? Sample Input 2 ? Sample Output 2 Hint 1. For N = 2,S(1) = S(2) = 1. 2. The input file consists of multiple test cases. ??? 核心就是[详细]
-
挖掘DBLP作者合作关系，FP-Growth算法实践（6）：简单的总结报告
所属栏目：[大数据] 日期：2021-05-26 热度：179
基于FP-Growth的频繁项集挖掘与基于社交图的关联规则挖掘 一、任务简介 1 二、数据集 1 三、基本思路 2 3.1、发掘各个会议的“核心”研究者 2 3.2、挖掘作者之间的合作关系 3 3.3、挖掘导师-学生关系 5 四、正确性验证 5 五、总结 5 ? ? 一、任务简介 本次[详细]
-
大数相加，大数相减（Java版）
所属栏目：[大数据] 日期：2021-05-26 热度：189
package?cn.yunmanage.haikang;public?class?BigNumberAdd?{public?static?void?main(String[]?args)?{System.out.println(bigNumberAdd("111",?"999"));}public?static?String?bigNumberAdd(String?f,?String?s)?{//?翻转两个字符串，并转换成数组char[]?[详细]
-
各种大数模板
所属栏目：[大数据] 日期：2021-05-26 热度：75
#define DIGIT 4 //四位隔开,即万进制#define DEPTH 10000 //万进制#define MAX 100 //题目最大位数/4，要不大直接设为最大位数也行typedef int bignum_t[MAX+1];/************************************************************************//* 读取操作[详细]
-
大数乘法（C语言实现）
所属栏目：[大数据] 日期：2021-05-26 热度：124
实现过程分析： 我们回忆一下，在我们小时候刚接触多位数的乘法，我们的数学老师会教给我们一个方法，那就是“乘法的竖式计算”。在这里我们就采用该思想解决大数乘法的问题。???????? 以下是我们经常进行乘法的竖式运算： 根据以上的竖式运算，我们实现过[详细]
-
大数模板 poj3982
所属栏目：[大数据] 日期：2021-05-26 热度：122
这个模板不是自己写的，还没学完c++的我，想写也没有那能力。 这个模板我用在了POJ的一道题上，传送门--POJ3982 ? 一般大数的题，都可用这个模板解决，只需要修改主函数就好了，但是如果不能独立写出来的话，不相当于白搭吗，所以我学完c++后会手写出模板[详细]
浙公网安备 33038102330483号