精华内容
下载资源
问答
  • 【Elasticsearch】Elasticsearch-Hadoop打通Elasticsearch和Hadoop.pdf
  • 在一个项目中同时使用hbase和elasticsearch出现netty的jar包冲突的问题 事件: 在同一maven项目中使用hbase的同时又用了es 程序运行后出错 1 java.lang.NoSuchMethodError: io.netty.util.AttributeKey....

    在一个项目中同时使用hbase和elasticsearch出现netty的jar包冲突的问题

    • 事件:

    在同一maven项目中使用hbase的同时又用了es

    程序运行后出错

    1 java.lang.NoSuchMethodError: io.netty.util.AttributeKey.newInstance(Ljava/lang/String;)Lio/netty/util/AttributeKey;

     上网查了一些原因,说是netty的版本不同的原因,自己在编译后的目录也看到了不同,分别用了4.0.23和4.1.13两个版本

    但不知怎么修改

     

    直到遇见一位大神给出了解决办法

    大神地址

    作者:hayaqi0504 

    • 原因:

    pom文件里不同组建各自依赖的netty的版本不同,

    例如:我的就是hbase依赖的netty版本和elasticsearch的不同

     

    • 解决办法:

    1.在idea的terminal查看pom所在目录

    mvn dependency:tree

    找到不同的jar版本,我的es用的4.1.13,而

    2.在pom.xml中强制引用netty的依赖,直接使用es所用的版本,因为es用的版本高于hbase所依赖的

    <dependency>
                <groupId>io.netty</groupId>
                <artifactId>netty-all</artifactId>
                <version>4.1.13.Final</version>
            </dependency>

    注:mvn dependency:tree -Dverbose -Dincludes=asm:asm 类似的命令可以找到重复的jar包引用

     

    转载于:https://www.cnblogs.com/qinglanmei/p/9556578.html

    展开全文
  • 连接快速搜索与大数据分析Elasticsearch For Apache HadoopES-Hadoop)是解决用户既需要进行多种分析,又需要进行快速搜索的需求的。 最新版本ES-Hadoop 2.2 与 Elasticsearch 2.x 能够完美结合

    连接快速搜索与大数据分析

    Elasticsearch For Apache Hadoop(ES-Hadoop)是解决用户既需要进行多种分析,又需要进行快速搜索的需求的。
    整体架构
    最新版本ES-Hadoop 2.2 与 Elasticsearch 2.x 能够完美结合

    展开全文
  • 这篇文章涵盖了如何使用ElasticSearch-HadoopHadoop系统读取数据并在ElasticSearch中对其进行索引。 它涵盖的功能是在最近n天中为每个客户的产品浏览量计数热门搜索查询编制索引。 可以在网站上进一步使用分析后...

    这篇文章涵盖了如何使用ElasticSearch-Hadoop从Hadoop系统读取数据并在ElasticSearch中对其进行索引。 它涵盖的功能是在最近n天中为每个客户的产品浏览量计数和热门搜索查询编制索引。 可以在网站上进一步使用分析后的数据来显示最近浏览过的客户,产品浏览次数和热门搜索查询字符串。

    继续之前的文章

    我们已经有了使用Flume收集并存储在Hadoop HDFS和ElasticSearch中的客户搜索点击数据,以及如何使用Hive分析相同数据并生成统计数据。 在这里,我们将进一步了解如何使用分析后的数据来增强网站上的客户体验并使之与最终客户相关。

    最近浏览过的商品

    我们已经在第一部分介绍了如何使用水槽ElasticSearch接收器将最近查看的商品目录索引到ElasticSearch实例,以及如何使用数据为客户显示实时点击的商品。

    弹性搜索-Hadoop

    Elasticsearch for Apache Hadoop允许Hadoop作业使用小型库和易于设置的方式与ElasticSearch进行交互。

    Elasticsearch-hadoop-hive,允许使用Hive访问ElasticSearch。 正如上一篇文章中所分享的那样,我们在Hive表中提取了产品视图计数以及客户排名最高的搜索查询数据。 我们将读取相同的数据并将其索引到ElasticSearch,以便将其用于网站上的显示目的。

    elasticsearch-hadoop-hive

    产品视图计数功能

    采取一个方案来显示客户在最近n天中的每个产品总观看次数。 为了获得更好的用户体验,您可以使用相同的功能向最终客户显示其他客户对同一产品的看法。

    蜂房数据用于产品视图

    从配置单元表中选择示例数据:

    # search.search_productviews : id, productid, viewcount
    61, 61, 15
    48, 48, 8
    16, 16, 40
    85, 85, 7

    产品视图计数索引

    创建Hive外部表“ search_productviews_to_es”以将数据索引到ElasticSearch实例。

    Use search;
    DROP TABLE IF EXISTS search_productviews_to_es;
    CREATE EXTERNAL TABLE search_productviews_to_es (id STRING, productid BIGINT, viewcount INT) STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'productviews/productview', 'es.nodes' = 'localhost', 'es.port' = '9210', 'es.input.json' = 'false', 'es.write.operation' = 'index', 'es.mapping.id' = 'id', 'es.index.auto.create' = 'yes');
    INSERT OVERWRITE TABLE search_productviews_to_es SELECT qcust.id, qcust.productid, qcust.viewcount FROM search_productviews qcust;
    • 创建外部表search_productviews_to_es指向ES实例
    • 使用的ElasticSearch实例配置为localhost:9210
    • 索引“ productviews”和文档类型“ productview”将用于索引数据
    • 如果索引和mappin不存在,则会自动创建
    • 如果基于ID字段已经存在,则插入覆盖将覆盖数据。
    • 通过从另一个存储分析/统计数据的配置单元表“ search_productviews”中选择数据来插入数据。

    执行Java中的Hive脚本以索引产品视图数据HiveSearchClicksServiceImpl.java

    Collection<HiveScript> scripts = new ArrayList<>();
    			HiveScript script = new HiveScript(new ClassPathResource("hive/load-search_productviews_to_es.q"));
    			scripts.add(script);
    			hiveRunner.setScripts(scripts);
    			hiveRunner.call();

    productviews索引样本数据

    ElasticSearch索引中的样本数据存储如下:

    {id=48, productid=48, viewcount=10}
    {id=49, productid=49, viewcount=20}
    {id=5, productid=5, viewcount=18}
    {id=6, productid=6, viewcount=9}

    客户热门搜索查询字符串功能

    以一种情况为例,您可能希望显示单个客户或网站上所有客户的热门搜索查询字符串。 您可以使用它来显示网站上的热门搜索查询云。

    Hive Data用于客户热门搜索查询

    从配置单元表中选择示例数据:

    # search.search_customerquery : id, querystring, count, customerid
    61_queryString59, queryString59, 5, 61
    298_queryString48, queryString48, 3, 298
    440_queryString16, queryString16, 1, 440
    47_queryString85, queryString85, 1, 47

    客户热门搜索查询索引

    创建Hive外部表“ search_customerquery_to_es”以将数据索引到ElasticSearch实例。

    Use search;
    DROP TABLE IF EXISTS search_customerquery_to_es;
    CREATE EXTERNAL TABLE search_customerquery_to_es (id String, customerid BIGINT, querystring String, querycount INT) STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'topqueries/custquery', 'es.nodes' = 'localhost', 'es.port' = '9210', 'es.input.json' = 'false', 'es.write.operation' = 'index', 'es.mapping.id' = 'id', 'es.index.auto.create' = 'yes');
    INSERT OVERWRITE TABLE search_customerquery_to_es SELECT qcust.id, qcust.customerid, qcust.queryString, qcust.querycount FROM search_customerquery qcust;
    • 创建外部表search_customerquery_to_es指向ES实例
    • 使用的ElasticSearch实例配置为localhost:9210
    • 索引“ topqueries”和文档类型“ custquery”将用于索引数据
    • 如果索引和mappin不存在,则会自动创建
    • 如果基于ID字段已经存在,则插入覆盖将覆盖数据。
    • 通过从另一个存储分析/统计数据的配置单元表“ search_customerquery”中选择数据来插入数据。

    在Java中执行Hive脚本以索引数据HiveSearchClicksServiceImpl.java

    Collection<HiveScript> scripts = new ArrayList<>();
    			HiveScript script = new HiveScript(new ClassPathResource("hive/load-search_customerquery_to_es.q"));
    			scripts.add(script);
    			hiveRunner.setScripts(scripts);
    			hiveRunner.call();

    topqueries索引样本数据

    ElasticSearch实例上的topqueries索引数据如下所示:

    {id=474_queryString95, querystring=queryString95, querycount=10, customerid=474}
    {id=482_queryString43, querystring=queryString43, querycount=5, customerid=482}
    {id=482_queryString64, querystring=queryString64, querycount=7, customerid=482}
    {id=483_queryString6, querystring=queryString6, querycount=2, customerid=483}
    {id=487_queryString86, querystring=queryString86, querycount=111, customerid=487}
    {id=494_queryString67, querystring=queryString67, querycount=1, customerid=494}

    上面描述的功能仅是示例功能,当然需要扩展以映射到特定的业务场景。 这可能涵盖在网站上向客户显示搜索查询云或进一步进行商业智能分析的业务场景。

    Spring数据

    还包括用于测试目的的Spring ElasticSearch,用于创建ESRepository以对总记录进行计数并删除All。
    检查服务以获取详细信息, ElasticSearchRepoServiceImpl.java

    产品总观看次数:

    @Document(indexName = "productviews", type = "productview", indexStoreType = "fs", shards = 1, replicas = 0, refreshInterval = "-1")
    public class ProductView {
    	@Id
    	private String id;
    	@Version
    	private Long version;
    	private Long productId;
    	private int viewCount;
    	...
    	...
    	}
    
    public interface ProductViewElasticsearchRepository extends ElasticsearchCrudRepository<ProductView, String> { }
    
    long count = productViewElasticsearchRepository.count();

    客户热门搜索查询:

    @Document(indexName = "topqueries", type = "custquery", indexStoreType = "fs", shards = 1, replicas = 0, refreshInterval = "-1")
    public class CustomerTopQuery {
    	@Id
    	private String id;
    	@Version
    	private Long version;
    	private Long customerId;
    	private String queryString;
    	private int count;
    	...
    	...
    	}
    
    public interface TopQueryElasticsearchRepository extends ElasticsearchCrudRepository<CustomerTopQuery, String> { }
    
    long count = topQueryElasticsearchRepository.count();

    在以后的文章中,我们将介绍使用计划作业进一步分析数据,

    • 使用Oozie计划针对配置单元分区进行协调的作业,并将作业捆绑以将数据索引到ElasticSearch。
    • 使用Pig来计算唯一客户总数等

    翻译自: https://www.javacodegeeks.com/2014/05/elasticsearch-hadoop-indexing-product-views-count-and-customer-top-search-query-from-hadoop-to-elasticsearch.html

    展开全文
  • elasticsearch-hadoop-5.6.7

    2018-02-05 18:54:19
    elasticsearch-hadoop是一个深度集成Hadoop和ElasticSearch的项目,也是ES官方来维护的一个子项目,通过实现Hadoop和ES之间的输入输出,可以在Hadoop里面对ES集群的数据进行读取写入,充分发挥Map-Reduce并行处理...
  • https://elasticsearch.cn/article/6194
    展开全文
  • 这篇文章涵盖了如何使用ElasticSearch-HadoopHadoop系统读取数据并在ElasticSearch中对其进行索引。 它涵盖的功能是在最近n天中为每个客户的产品浏览量计数热门搜索查询编制索引。 分析的数据可以进一步在网站上...
  • Hadoop vs Elasticsearch – Which one is More Useful Difference BetweenHadoopand Elasticsearch Hadoopis a framework that helps in handling the voluminous data in a fraction of second...
  • elasticsearch-hadoop使用记录

    千次阅读 2015-11-18 18:13:14
    elasticsearch-hadoop是一个深度集成Hadoop和ElasticSearch的项目,也是ES官方来维护的一个子项目,通过实现Hadoop和ES之间的输入输出,可以在Hadoop里面对ES集群的数据进行读取写入,充分发挥Map-Reduce并行处理...
  • 来自AdMaster技术副总裁卢亿雷给大家分享了AdMaster实战中HadoopElasticSearch 的融合分享,从Hadoop生态系统和ElasticSearch特点出发,深入解读了两者的融合过程以及在AdMaster中应用。
  • ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现...
  • ES-Hadoop 6.x更高版本与Elasticsearch 1.X , 2.X , 5.X6.X兼容 ES-Hadoop 5.x更高版本与Elasticsearch 1.X , 2.X5.X兼容 ES-Hadoop 2.2.x及更高版本与Elasticsearch 1.X2.X兼容 ES-2.0.x版本的Hadoop...
  • ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现...
  • 实际这是很久之前的问题了,当时没时间记录 这里简单回顾 项目基于 数据架构不方便说太细,最精简的 ...在 spark-streaming 引用了elasticsearch-hadoop(实际用的是为支持upsert doc自已打包的,见elasticsea...
  • 让你获得Elasticsearch和hadoop的能力,带你一步一步对海量数据进行数据发现和探索。ES-HadoopElasticsearch和Hadoop的连接器,通过它可以非常方便地在Hadoop生态和Elasticsearch之间进行数据交互。
  • ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现...
  • Hadoop编程——从HDFS导入数据到Elasticsearch 一、Elasticsearch for Apache Hadoop安装 1.1 官网下载zip安装包 1.2 maven方式下载 1.3 将ES-hadoop 的jar包加入环境变量 二、准备数据 三、从HDFS读取文档...
  • Hadoop MapReduce 读写Elasticsearch

    万次阅读 2016-12-19 21:10:52
    最近需要调研hadoop MR和ES进行交互...自然就用到了ES官方的Elasticsearch-Hadoop插件。然而官方的资料,尤其是实现部分,写的感觉不太详细。跳了点坑,然后总结了这篇文章,本文很大程度上是官网资料的具体代码实现。
  • 背景知识见链接:elasticsearch备份与恢复3_使用ES-Hadoop将HDFS数据写入Elasticsearch中 项目参考《Elasticsearch集成Hadoop最佳实践》的tweets2HdfsMapper项目 项目源码:...
  • Elasticsearch for Hadoop

    2016-04-20 20:23:48
    Elasticsearch-Hadoop serves as a perfect tool to bridge the worlds of Elasticsearch and Hadoop ecosystem to get best out of both the worlds. Powered with Kibana, this stack makes it a cakewalk to get...
  • 环境:hadoop2.6.4、hive1.2.1、elasticsearch7.6.1、centos7 1、下载与es版本一致的es-hadoop版本 wget https://artifacts.elastic.co/downloads/elasticsearch-hadoop/elasticsearch-hadoop-7.6.1.zip 2、解压...
  • es for apache hadoop(elasticsearch-hadoop.jar)允许hadoop作业(mapreduce、hive、pig、cascading、spark)与es交互。 At the core, elasticsearch-hadoop integrates two distributed systems: Hadoop, a ...
  • Elasticsearch、MongoDB和Hadoop比较

    千次阅读 2016-12-23 01:20:42
    Elasticsearch、MongoDB和Hadoop比较
  • ES和HADOOP使用问题需求
  • 兼容hadoopelasticsearch,对应hadoop版本为2.4.0

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 26,710
精华内容 10,684
关键字:

hadoop和es