大数据_PHP编程网 - 湛江站长网

[bigdata-017] 用Hive操作hbase

所属栏目：[大数据] 日期：2020-12-30 热度：55

1. 在hbase创建一个表 ivt_mny_pro 2. 在hive创建一个外部表ivt_mny_pro_2_hive create external table ivt_mny_pro_2_hive(key string,idx bigint,beginTime timestamp,endTime timestamp,userid string) row format serde 'org.apache.hadoop.hive.hbase[详细]
FP-Growth序列频繁模式挖掘

所属栏目：[大数据] 日期：2020-12-30 热度：132

副标题#e# 1算法设计目标输入不同的命令是用户使用Linux服务器的基本途径，通过长时间采集不同用户在使用服务器过程中所使用的命令序列，挖掘其中频繁出现的命令序列，可以帮助我们了解用户使用该服务器的基本规律。此外，如果存在多台服务器，那么我们可[详细]
Kahan#39;s Summation Formula原理—它是如何避免大数吃小数的

所属栏目：[大数据] 日期：2020-12-30 热度：114

Kahan求和公式原理： ? ? ? ?首先，这个算法就是用来求和的，求a1+a2+a3+...为什么不直接相加呢，而要用Kahan求和公式呢，这个算法的用武之地在哪呢，一一道来 ? ? ? ?kahan求和算法能避免大数吃小数的情况。 ? ? ? ?大数吃小数是什么意思呢？举个例子，我[详细]
盘点丨2016年乐视开过的发布会和许chui过的愿niu景bi

所属栏目：[大数据] 日期：2020-12-30 热度：172

在辞旧迎新之际，2016盘点系列也将接近尾声，今天我们来盘点一下乐视在2016年开过的那些发布会和许chui过的愿niu景bi。北京时间1月12日，乐视在北京798艺术区召开主题为“生态世界”的全球品牌升级新闻发布会，公布了乐视生态及7大子生态的全新Logo，宣布[详细]
[bigdata-018] java spring 快捷入门

所属栏目：[大数据] 日期：2020-12-30 热度：76

1. spring学习，最好的材料是官网 http://sping.io/docs 2.安装jdk 3. 安装tomcat http://blog.csdn.net/zhuying_linux/article/details/6583096/ tomcat 8.5对应的jdk 1.7 把tomcat压缩包放到~/usr/tomcat里在/etc/profile加上CATALINA_HOME=/home/brian[详细]
bzoj 3100 K大数查询树套树

所属栏目：[大数据] 日期：2020-12-30 热度：124

外层权值线段树，对于每个权值线段树节点，建立区间线段树。但是内层这样普通建树会TLEMLE。仔细想会发现，区间线段树不用都建出来，用到哪个点就开哪一个点，每次操作最多经过logn个权值线段树节点，访问每个权值线段树节点时，最多修改logn个区间线段树[详细]
[bigdata-019] 禅道在linux上的安装

所属栏目：[大数据] 日期：2020-12-30 热度：60

1. 在ubuntu 14.04上安装部署禅道 ?? 2. 禅道有多种安装方式。有一键安装包。但如果你已经有了一个mysql数据库，就不能使用一键安装了。本文主要说明在已有mysql数据库下的安装。 3. 官方参考 http://www.zentao.net/book/zentaopmshelp/239.html 4. 下载[详细]
从0到1构建数据生态系列之六：数据价值挖掘

所属栏目：[大数据] 日期：2020-12-30 热度：158

副标题#e# 文·blogchong 这估计《从0到1构建数据生态系列》的最后一篇，主题是数据价值。在之前，我们所有做的一切一切，都是基础，那么其最终的目的是什么？当然，结果很明显，就是数据价值，那么，作为数据生态的最上层，所谓的数据价值又是以什么形式[详细]
这5种必知的大数据处理框架技术，你的项目到底应该使用其中的哪

所属栏目：[大数据] 日期：2020-12-30 热度：132

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个[详细]
[bigdata-020]用python3+pymogo 操作 mongodb数据库

所属栏目：[大数据] 日期：2020-12-30 热度：177

1. 安装pymongo pip install pymongo 2. 写一个例子 #!/usr/bin/env python3#! coding:utf-8 -*-import pymongoimport timeclient = pymongo.MongoClient('localhost',27017)db = client.get_database('user-behavior-data')print(db.name)backend = db.ge[详细]
bzoj 3110 K大数查询整体二分

所属栏目：[大数据] 日期：2020-12-30 热度：147

#includecstdio#includeiostream#define maxn 50005#define LL long longusing namespace std;int n,m;struct Que{ int op,l,r,x,id; void read() { scanf("%d%d%d%d",op,l,r,x); if(op==1) x+=n+1; }}q[50005];Que q1[maxn],q2[maxn];int ans[maxn];struc[详细]
[bigdata-043] tomcat的一些资料和文档试用（未整理）

所属栏目：[大数据] 日期：2020-12-26 热度：142

1. tomcat的官网在这里 http://tomcat.apache.org/whichversion.html 2. tomcat的版本跟jdk相关。jdk1.8已经广泛使用，选择tomcat 9优先。 3. 下载tomcat 9 3.1 首先要阅读文档 https://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-9/v9.0.0.M17/R[详细]
[bigdata-044] CDH的官方文档部分翻译（未整理且未完成）

所属栏目：[大数据] 日期：2020-12-26 热度：59

1. cloudera官网 http://www.cloudera.com/ 2. cloudera文档 http://www.cloudera.com/documentation.html 3. 文档分为三个部分 ? 3.1 cloudera enterprise: cdh,cloudera manger,search,impala,spark。 ? 3.2 cloudera director: 安装指南，配置，以及使[详细]
慧眼云：基于云计算和大数据分析的主动防御实践

所属栏目：[大数据] 日期：2020-12-26 热度：140

http://www.csdn.net/article/1970-01-01/2825623 不论IT如何变迁，网络安全始终是不过时的话题。但不同环境的网络安全有不同的内涵，当前全产业转型“互联网+”，云计算、大数据和移动互联网技术的普及应用，极大地改变了IT架构，网络边界越来越模糊，同[详细]
[bigdata-045] redis故障处理 #34;Can#39;t save in backg

所属栏目：[大数据] 日期：2020-12-26 热度：63

发现官网出错了。经过检查，发现连接不到redis。检查redis的log，发现错误 Can't save in background: fork: Cannot allocate memory 搜索相关资料，这里说的比较详细 http://www.cnblogs.com/qq78292959/p/3994341.html http://blog.csdn.net/zqz_zqz/art[详细]
[bigdata-046] eclipse+spring开发web然后部署到tomcat

所属栏目：[大数据] 日期：2020-12-26 热度：171

1. 用eclipse开发spring，需要使用相关的ide 2. spring官网的ide https://spring.io/tools/eclipse 3. spring的tool suite https://spring.io/tools/sts 这个是专用开发spring的。选择 https://spring.io/tools/sts/all 这里的linux64版本。 4. 在eclipse[详细]
大数据分析与处理

所属栏目：[大数据] 日期：2020-12-26 热度：73

? ? 一、大数据分析与处理 1.文件批处理 ??????以MapReduce、Hive为典型代表，批处理模式解决了传统的数据仓库无法处理海量数据的难题。通过批处理计算引擎，使得海量数据分析成为可能。没有批处理引擎的诞生，也就没有今天风风火火的大数据。 ??????数据[详细]
新飞电器的BI建设案例

所属栏目：[大数据] 日期：2020-12-26 热度：101

副标题#e# 一、河南新飞电器简介河南新飞电器在制造行业内属于领先地位，其信息化程度较高，面对系统多且杂乱的情况，一个集中展示数据的平台就显得尤为重要。使用BI就是为了在一个相对统一的平台展示需要查看的数据，供决策层进行分析查看，从而做出更加[详细]
Gartner发布2017年商业智能（BI）魔力象限报告――云商业智能工

所属栏目：[大数据] 日期：2020-12-26 热度：187

对我来说，等待Gartner发布最新一期的Gartner商业智能魔力象限报告，看看有哪些最新的意外总是一件令人兴奋的事情。今年的魔力象限报告包括几个意外，并且对这个市场的现状以及未来发展方向发表了几点想法。 2017年的魔力象限看起来像这样： Gartner还没[详细]
BigData数据可视化软件及工具

所属栏目：[大数据] 日期：2020-12-26 热度：165

副标题#e# 摘要：大量繁杂的数据在经过可视化工具处理后，就能以图形化的形式展现在用户面前，清晰直观。随着各种数据的增加，这种可视化工具越来越得到开发者们的欢迎。本文向大家推荐30款数据可视化工具。各个互联网公司通过大量的用户数据、信息进行统[详细]
ArcGIS Desktop 无法录入数据处理一例

所属栏目：[大数据] 日期：2020-12-26 热度：146

最近，搭建了一个DB2的测试环境，装完系统后，发现有一个美国带的样例数据无法导入，详细环境如下：桌面:Desktop 10.3.1 DB2: V97 FP8 X64 For NT 从错误信息上得不到任何的提示，继续做测试导入数据的时候出了空间字段，属性字段全部删除，可以导入进去[详细]
URAL - 1153 Supercomputer 大数开方

所属栏目：[大数据] 日期：2020-12-26 热度：92

??????? 题意：给定m，m = n * (n+1) / 2，计算n值。 ????? 思路：n = SQRT(m*2) ???? 注意m很大，需要自己实现大数开方。我用的是自己写的大数模板：大数模板 AC代码 #include cstdio#include cmath#include algorithm#include cstring#include utility#i[详细]
[bigdata-047] 禅道 ubuntu 配置开机自启动服务开机启动

所属栏目：[大数据] 日期：2020-12-26 热度：171

1. 在/etc/init.d目录下创建chandao文件内容如下： #!/bin/bash /opt/lampp/lampp restart 然后增加全选 chmod 755 chandao 2. 运行runleve命令，查看现在的run level是多少，通常是2 3. 既然是2,就在/etc/rc2.d目录下，创建一个链接 ln -s /etc/init.d/c[详细]
[bigdata-048] git使用上

所属栏目：[大数据] 日期：2020-12-26 热度：52

0. 主要参考 http://www.liaoxuefeng.com 1. git是分布式版本管理器，每个人的电脑都是一个完整的版本库。你修改了文件A，你同事修改了文件A，你们可以将各自的修改推给对方，可以互相看到对方的修改。 2. 创建版本库repository ? 2.1 在一个合适的地方，[详细]
商业智能BI和报表的区别？

所属栏目：[大数据] 日期：2020-12-26 热度：120

报表是数据展示工具，商业智能BI是数据分析工具。报表工具是一类报表制作工具和数据展示工具，用于制作各类数据报表、图形报表。或者制作特定格式的电子发票联、流程单、收据等等。商业智能的重点在于商业数据的分析，集成了数据统计、数据展示、数据分[详细]

10627

366