大数据行业的浮躁
我是IT从业者，俗称“程序猿”，而且大学学计算机专业也是自己寻死觅活一定要读的专业，可以说从一开始就是我自己的选择，机缘巧合之下一直从事数据技术相关的工作，尤其是这几年大数据技术、概念、名词风起云涌后，我作为站在风口的猪，虽然没有被吹上天，不过也侥幸的一直活下来了。 然而，个人认为最近几年大数据概念几乎充斥了所有领域，就像当年的云计算一样一样的，真正落地的反而没多少。 从技术上来说，过往做互联网信…
-
8个值得关注的SQL-on-Hadoop框架（转）
数据的操作语言是SQL，因此很多工具的开发目标自然就是能够在Hadoop上使用SQL。这些工具有些只是在MapReduce之上做了简单的包装，有些则是在HDFS之上实现了完整的数据仓库，而有些则介于这两者之间。这样的工具有很多，来自于Shoutlet的软件开发工程师Matthew Rathbone最近发表了一篇文章，他列举了一些常用的工具并对各个工具的应用场景和未来进行了分析。Apache Hiv…
-
转：如何选择一个合适的数据图表
原文作者：曹格 http://blog.sina.com.cn/caojiangppt 在传递信息时，有数据比没数据更有说服力，而一旦有了数据，那就牵涉到如何呈现。PowerPoint为我们提供了诸多图表，它们在一定程度上已经可以满足我们平时需求。当然，若能够有更加简洁清晰的选择（并且又不会增加太多的负担），我们又何乐而不为。 （一）单一数据的表示 有些时候（演讲类居多），我们只用提供一个最重…
-
转：商业智能发展趋势
2014年，我们会听到关于可视化数据、云计算和移动应用的更高呼声，人们对这些技术的热情会超过2013年。而大数据领域，还将获得持续关注，但用户考虑更多的是切合业务需求的落地方法。简言之，云计算和移动技术将引起2014年的BI二次革命。 可视化数据和自助式BI 2013年，可视化数据已进入了探索征程，专业供应商在画面场景、QlikView、TIBCO Spotfire平台分析等方面的应用开始增多。诸…
-
通过ambari来搭建hadoop集群
准备环境 192.168.80.10 Master Master.Hadoop192.168.80.11 Slave1 Slave1.Hadoop192.168.80.12 Slave2 Slave2.Hadoop三台机器均为Centos_x64_6.5 Master主节点配置4G内存 另两台Slave配置为2G内存由于通过在线安装的方式未能安装成功，转换思路将在本地建yum源的方式来安装，个人觉…
-
WebService调用ODI同步任务
1. 概述 ODI11G默认提供了WebService的调用接口，供其他各种应用程序通过接口控制、访问ODI自身的同步任务。 ODI11G在安装完成，启动代理后，会自动启动webservice的服务端口，对外提供WSDL文件服务，外部应用可以通过WSDL文件利用各种技术反向生成自身应用程序所需要的调用代码，本文将以Axis作为WebService容器来介绍，如何生成代码并调用ODI接口。 2. …
-
数据仓库的大数据集成
集成策略 数据集成是指将来源于不同系统的数据组合在一起，供业务用户研究不同的行业行为及客户行为的数据处理方式。在数据集成应用早期，数据仅限于交易系统及其应用。业务决策的制定以决策平台为指导，而有限的数据集提供了创建决策平台的基础。 数据容量与数据类型在过去三十年里大幅增长，数据仓库技术从无到有，基础架构和技术的发展满足了分析和数据存储需求。这一切彻底改变了数据集成的前景。 传统数据…
-
大数据可视化小结（一）
对数据可视化的需求正急剧增长。一部分原因是更多的公司正在寻求通过对大数据分析来获得可视化的业务洞察力。 大数据的可视化个人认为还是以仪表盘为展现的最终载体，当然仪表盘会包含移动端、云端和企业端。那么，仪表盘中的内容应该包含哪些？ 1、单纯的数字展示 大数据的最终分析结果，其中有一种是对关键指标的计算结果，如：市场模糊占有率，总体情感指数，用户粘度系数…