Cassandra-java操作——基本操作 接着上篇博客,我们来谈谈java操作cassandra;由于2.2.8没有对应的驱动文档,那么我们就用3.0的驱动文档,而驱动则用2.1.10.3版本;如果我们对同一个query语句预编译了多次,那么驱动会打印警告日志; 数据库 2017-03-23 22:51:15
建立一个全数据管理的分析平台,该如何落实? 前期进行需求调研。罗列了一张建设思路图。数据情况 1、数据来源:考虑数据主要来源的业务系统有哪些?是否需要建立数据仓库?比如销售分析,涉及到客户分析、订单分析、产品分析、渠道分析等分析指标,各个指标可能需要层级钻取分析、同比分析等分析形式。 数据库 2017-03-23 13:34:20
网上提供的最简便的MySql数据库备份的方法 使用MYSQL进行数据库备份,又很正规的数据库备份方法,同其他的数据库服务器有相同的概念,但有没有想过,MySQL会有更简捷的使用文件目录的备份方法,而且又快有好。(为了使得更快地插入到MySQL)。缺省主机是localhost。 数据库 2017-03-22 22:41:23
总结一下关于mysql 5.6 新特性 5.新增连接算法BKA(Batched Key Access):http://dev.mysql.com/doc/refman/5.6/en/bnl-bka-optimization.html 6.子查询优化:包括物化和半连接优化等特性。 数据库 2017-03-19 23:23:59
Spark在Windows下的环境搭建 ”进行分割。1.3.1 环境变量、系统变量和用户变量 环境变量包括系统变量和用户变量 系统变量的设置针对该操作系统下的所有用户起作用;那为什么要设置bin文件夹,而不是JDK安装的根目录呢?不过运行这个class文件的时候,报错了。 数据库 2017-03-16 22:38:26
【大数据新手上路】“零基础”系列课程--Flume收集网站日志数据到MaxCompute 对于一个比较活跃的网站来说,访问日志将会是一个海量的数据,考虑到网站日志更新频繁、和海量数据的特点,我选择了Flume + MaxCompute的采集和存储方案。4)创建需要上传的本地文件;7)启动Flume,将数据上传至Datahub; 数据库 2017-03-16 22:38:23
MaxCompute SQL与标准SQL的主要区别及解决方法 分区 单表支持6万个分区。具体分区列和分区的区别可以参考这里 支持增加列,但是不支持删除列以及修改列的数据类型,参考这里 。但是如果确实有需要,可以参考这里。另外对于删除,还可以参考这里。具体可以参考这里。可以参考这里。阅读原文请点击 数据库 2017-03-16 22:38:21
走近华佗,解析自动化故障处理系统背后的秘密 集群医生华佗是集群自动化故障监测和处理系统,是平台和运维对接的关键系统。Checker:按照Master配置要求,完成故障的发现和状态维护,同时产生Action Checker来完成故障处理。Worker:处理Master发送的Task。 数据库 2017-03-16 22:38:20
慢日志分析 前言 简单学习了下慢日志分析,简单做下笔记,以便后期方便查看。通常情况下,我们应该优化查询次数多且耗时多的语句,或者扫描行数多的语句优化,或者缓存命中率(查询结果记录数/扫描记录数)低的语句。 数据库 2017-03-16 22:38:18
企业大数据平台下数仓建设思路 后续在平台和产品上不停的丰富数据内容,同时离线和流式两套数据体系支持数据产品。用数据的人能够很快找到需要数据的位置。2.数据质量和产出时间有保障;数据架构上扁平化的数据处理流程会对数据质量的控制和数据产出的稳定性提供非常好的基础。 数据库 2017-03-16 22:38:15
天律的云端大数据分析挖掘之旅 越来越多的企业和机构已经深刻意识到大数据的重要性。大数据分析给企业带来的不仅是数据的实时分析和可视化展现,更重要的是,通过对已有数据以及实时所产生数据的海量信息进行分析,它将引领企业进入预测性的商业时代。阅读原文请点击 数据库 2017-03-16 22:38:12
Redis的发布订阅及.NET客户端实现 !那又如何取消订阅过的通道呢?上代码。Redis的发布订阅及.NET客户端实现 第一次我发布消息到zhanglonghao通道,发布的消息为:hello shuaige !!Redis的发布订阅及.NET客户端实现 到此为止,自己玩去吧。 数据库 2017-03-16 22:38:08
Spark:一个用于大规模数据科学的API——DataFrame 今天,我们正式宣布Spark新的API——DataFrame 。通过Spark SQL,你还可以用SQL的方式操作DataFrames。在Python中,Pandas DataFrame和Spark DataFrame还可以自由转换。 数据库 2017-03-16 22:38:03
云上游戏数据分析实践 游戏数据分析特点 分析是建立在数据上的,数据的特点决定了分析的方向和方法。从游戏数据的种类来看,分为结构化数据和非结构化数据。中小型游戏数据分析使用程度一般。总体来说,游戏数据分析的现状如下。不做数据分析。时间跨度大的数据分析耗时太长; 数据库 2017-03-16 22:38:02
报错org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast 报错 java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to 数据库 2017-03-15 22:50:21
Redis-port安装使用实现redis迁移codis,以及简单redis pipe实现将mysql迁移redis 准备步骤如下。您的创建可能是不完整的。忽略警告后发现bin目录已经建好里面有编译好的redis-port,工具是能够正常使用的。 数据库 2017-03-15 22:50:20
MySQL数据库设计总结 规则11:对于取值不能重复,经常作为查询条件的字段,应该建唯一索引(主键默认唯一索引),并且将查询条件中该字段的条件置于第一个位置。没有必要再建立与该字段有关的联合索引。规则14:需要联合索引(或联合主键)的数据库要注意索引的顺序。 数据库 2017-03-15 22:50:15
Oracle数据库笔记 第五字节:小时+1;m默认是0;MOD(N,[,M])N除于M的余数,M没有,则直接返回N。[/tr] [tr]EXTRACT(date FROM datetime) 从date time中提取date指定的数据,比如:提取年,月,小时等。 数据库 2017-03-15 22:50:11
腾讯云数据库团队:phpMyAdmin中sql-parser组件的使用 sql-parser简介 sql-parser组件的主要用途是对SQL语句进行词法分析、语法分析,继而可以实现对SQL语句的解构、加工、替换、再组装等需求,另外也可以对SQL进行highlight等处理。下面是其SQL构造器的用法举例。 数据库 2017-03-15 22:50:08