首先,简单了解一下大数据时代下的数据检索。
在如今的大数据时代,信息量爆炸、数据增长迅猛,如何在动辄上T、上P的数据量上实现信息的快速查询检索成为大数据技术中的核心命题之一。
在大数据的技术体系下信息管理部门一般会选择使用主流的开源组件ELK作为非结构数据的查询检索渠道,ELK由Elasticsearch、Logstash和Kibana三部分组件组成;
Elasticsearch,简称ES,是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用。
kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。
简单了解了大数据体系下的数据检索情况后,我们回到文章标题所涉及的内容,针对传统数据库,一般情况下我们会采用SQL语句对数据库中的信息进行查询、统计、聚合,这项技术在大学的基础课程数据库原理中就开始进行授业布道了,对于IT人来说,采用SQL语句和数据库进行交互变得自然而天经地义。
然而,我们设想一下,很多情况下当我们去找一个数据的时候,我们会怎么做?
1、我要知道数据在哪个数据表里,然后我写sql语句查询
2、忘了表名怎么办?我要去找文档,查看数据库结构
3、假如文档也没有怎么办?我会用select * from tab where TABLE_NAME like ‘%%’ 能想到点什么就先过滤点什么。
4、假如都不知道,我该怎么办?找服务商、找开发商帮我找,找不到?找不到不行,接着找,不过这个时候可能一周时间已经过去了。
5、假如我找到了我想找的那条数据,可是发现数据相关的字段都是各种代码,我看不懂啊?代码怎么翻译?那么,我们必须顺着1、2、3、4再来一遍。
现在,假如有一个针对数据库所有表名、字段名、字段内容、关联表信息的搜索引擎,在搜索引擎上随意输入你要模糊查询的内容,有可能是你记得的某个字段大概的名字,也有可能是一个人名,搜索后的结果则是跟你搜索关键词相关的所有匹配的数据表、数据字段、字段内容、关联数据信息。
听起来是不是很智能?
现在我们实现了,秉承着对数据技术的执着,秉承着为客户创造价值的理念,我们将主数据管理、数据库与搜索引擎结合在一起,为数据管理员提供最简单、最直接的数据库查询方式,我们希望能够让数据管理更简单,能让数据管理员的工作更轻松。
搜索结果
关联数据查询
我们将延续在数据技术方面的探索,也期待您能持续关注我们公司。
做最专业的数据技术团队,让世界变得更清晰