solr7集群 springboot_springboot整合solr-程序员宅基地

技术标签: solr7集群 springboot  

一、本文将solr安装在linux上。首先先安装好jdk和tomcat。

配置环境:jdk8,tomcat8.5,solr7.2.1.。

二、复制Solr文件夹中的一些文件到apache-tomcat下:

1)将 solr 压缩包中 solr\server\solr-webapp\文件夹下有个webapp文件夹,将之复制到tomcat\webapps\目录下,文件夹名改成solr(任意) ;

cp -R /usr/local/tomcat/solr-7.2.1/server/solr-webapp/webapp /usr/local/tomcat/apache-tomcat-8.5.29/webapps/

2)将 solr 压缩包中 solr\server\lib\ext 中的 jar 全部复制到 Tomcat\ webapps\solr\WEB-INF\lib 目录中;

cp -R /usr/local/tomcat/solr-7.2.1/server/solr-webapp/webapp /usr/local/tomcat/apache-tomcat-8.5.29/webapps/

3)将solr压缩包中solr/server/lib/metrics* 开头的jar全部复制到 Tomcat\ webapps\solr\WEB-INF\lib 目录中;

cp -R /usr/local/tomcat/solr-7.2.1/server/lib/metrics*.* /usr/local/tomcat/apache-tomcat-8.5.29/webapps/solr/WEB-INF/lib/

4)将solr压缩包中solr/server/lib/solr-dataimporthandler-* 开头的jar全部复制到 Tomcat\ webapps\solr\WEB-INF\lib 目录中;

cp -R /usr/local/tomcat/solr-7.2.1/server/lib/solr-dataimporthandler-* /usr/local/tomcat/apache-tomcat-8.5.29/webapps/solr/WEB-INF/lib/

5)在Tomcat\ webapps\solr\WEB-INF\下建立classes目录,并将solr/server/resources/log4j.properties文件复制其中;

cp -R /usr/local/tomcat/solr-7.2.1/server/resources/log4j.properties /usr/local/tomcat/apache-tomcat-8.5.29/webapps/solr/WEB-INF/classes/

6)在tomcat目录下建立solrhome目录(也可以放在其它目录中)

mkdir solrhome

7)复制solr/server/solr/* 所有文件到tomcat/solrhome目录,用到创建solr的core时使用。

cp -R /usr/local/tomcat/solr-7.2.1/server/solr/* /usr/local/tomcat/apache-tomcat-8.5.29/solrhome/

三、安装完成之后启动tomcat,即可运行sorl。输入路径地址:

四、配置solr:

编辑web.xml文件:

[root@localhost down]# vi /down/apache-tomcat-8.5.12/webapps/solr/WEB-INF/web.xml

1)配置solr下core路径,找如下配置内容(初始状态下该内容是被注释掉的):

solr/home

/down/apache-tomcat-8.5.12/solrhome //将路径指向我们创建的solrhome目录。

java.lang.String

2)配置访问权限:找到如下内容,并注释掉:

至此solr的配置工作完成.

五、创建core:

1、首先在solrhome中创建mycore目录;

2、复制solr-6.5.0\example\example-DIH\solr\solr下的所有文件到/down/apache-tomcat-8.5.12/solrhome/mycore目录下:

3、重新启动tomcat;

4、此时在浏览器输入http://localhost:8080/solr/index.html即可出现Solr的管理界面,即可看到我们刚才的mycore。

六、配置IKAnalyzer的中文分词:

1、下载IKAnalyzer,解压后会有五个文件

ext.dic IKAnalyzer.cfg.xml solr-analyzer-ik-5.1.0.jar ik-analyzer-solr5-5.x.jar stopword.dic

1

ext.dic为扩展字典,stopword.dic为停止词字典,IKAnalyzer.cfg.xml为配置文件,solr-analyzer-ik-5.1.0.jar ik-analyzer-solr5-5.x.jar为分词jar包。

2、将文件夹下的IKAnalyzer.cfg.xml , ext.dic和stopword.dic 三个文件 复制到/webapps/solr/WEB-INF/classes 目录下,并修改IKAnalyzer.cfg.xml

IK Analyzer 扩展配置

ext.dic;

stopword.dic;

3、在ext.dic 里增加自己的扩展词典,例如,唯品会 聚美优品

4、复制solr-analyzer-ik-5.1.0.jar ik-analyzer-solr5-5.x.jar到/down/apache-tomcat-8.5.12/webapps/solr/WEB-INF/lib/目录下。

5、在 solrhome\mycore\conf\managed-schema 文件前增加如下配置

注意: 记得将stopword.dic,ext.dic的编码方式为UTF-8 无BOM的编码方式。

七、solr与mysql集成索引:

首先在 solrconfig.xml 的 《requestHandler name=”/select” class=”solr.SearchHandler”> 之上添加

data-config.xml

然后在conf下新建data-config.xml文件。里面内容如下:

deltaImportQuery="select * from user where id='${dih.delta.id}'"

deltaQuery="select id from user where updateTime> '${dataimporter.last_index_time}'">

dataSource是数据库数据源。Entity就是一张表对应的实体,pk是主键,query是查询语句。Field对应一个字段,column是数据库里的column名,后面的name属性对应着Solr的Filed的名字。其中solrdata是数据库名,goods是表名。

其中deltaQuery是增量索引,原理是从数据库中根据deltaQuery指定的SQL语句查询出所有需要增量导入的数据的ID号。然后根据deltaImportQuery指定的SQL语句返回所有这些ID的数据,即为这次增量导入所要处理的数据。核心思想是:通过内置变量“dih.delta.id”和“dih.delta.id”和“{dataimporter.last_index_time}”来记录本次要索引的id和最近一次索引的时间。

然后把mysql所需的jar包和solr-6.2.0\dist下的solr-dataimporthandler-6.2.0.jar和solr-dataimporthandler-extras-6.2.0.jar都复制到项目WEB-INF\lib下。

启动Tomcat,输入http://localhost:8080/solr/index.html按如下选择,

八、查询参数说明:

1、常用

q - 查询字符串,这个是必须的。如果查询所有: ,根据指定字段查询(Name:张三 AND Address:北京)

fq - (filter query)过虑查询,作用:在q查询符合结果中同时是fq查询符合的,例如:q=Name:张三&fq=createDate:[2014-06-18 TO 2015-12-18],找关键字”张三”,并且CreateDate是查询2014-06-18到2015-12-18之间的数据

fl - 指定返回那些字段内容,用逗号或空格分隔多个。

start - 返回第一条记录在完整找到结果中的偏移位置,0开始,一般分页用。

rows - 指定返回结果最多有多少条记录,配合start来实现分页。

sort - 排序,格式:sort=《field name>+《desc|asc>[,《field name>+《desc|asc>]… 。示例:(score desc, price asc)表示先 “score” 降序, 再 “price” 升序,默认是相关性降序。

wt - (writer type)指定输出格式,可以有 xml, json, PHP, phps。

fl表示索引显示那些field( *表示所有field,如果想查询指定字段用逗号或空格隔开(如:Name,SKU,ShortDescription或Name SKU ShortDescription【注:字段是严格区分大小写的】))

q.op 表示q 中 查询语句的 各条件的逻辑操作 AND(与) OR(或)

hl 是否高亮 ,如hl=true

hl.fl 高亮field ,hl.fl=Name,SKU

hl.snippets :默认是1,这里设置为3个片段

hl.simple.pre 高亮前面的格式

hl.simple.post 高亮后面的格式

facet 是否启动统计

facet.field 统计field

2、 Solr运算符

“:” 指定字段查指定值,如返回所有值:

“?” 表示单个任意字符的通配

“” 表示多个任意字符的通配(不能在检索的项开始使用或者?符号)

“~” 表示模糊检索,如检索拼写类似于”roam”的项这样写:roam~将找到形如foam和roams的单词;roam~0.8,检索返回相似度在0.8以上的记录。

邻近检索,如检索相隔10个单词的”apache”和”jakarta”,”jakarta apache”~10

“^” 控制相关度检索,如检索jakarta apache,同时希望去让”jakarta”的相关度更加好,那么在其后加上”^”符号和增量值,即jakarta^4 apache

布尔操作符AND、||

布尔操作符OR、&&

布尔操作符NOT、!、- (排除操作符不能单独与项使用构成查询)

“+” 存在操作符,要求符号”+”后的项必须在文档相应的域中存在

( ) 用于构成子查询

[] 包含范围检索,如检索某时间段记录,包含头尾,date:[200707 TO 200710]

{} 不包含范围检索,如检索某时间段记录,不包含头尾

date:{200707 TO 200710}

/ 转义操作符,特殊字符包括+ - && || ! ( ) { } [ ] ^ ” ~ * ? : /

注:①“+”和”-“表示对单个查询单元的修饰,and 、or 、 not 是对两个查询单元是否做交集或者做差集还是取反的操作的符号

比如:AB:china +AB:america,表示的是AB:china忽略不计可有可无,必须满足第二个条件才是对的,而不是你所认为的必须满足这两个搜索条件

如果输入:AB:china AND AB:america,解析出来的结果是两个条件同时满足,即+AB:china AND +AB:america或+AB:china +AB:america

总而言之,查询语法: 修饰符 字段名:查询关键词 AND/OR/NOT 修饰符 字段名:查询关键词

3、 Solr查询语法

1.最普通的查询,比如查询姓张的人( Name:张),如果是精准性搜索相当于SQL SERVER中的LIKE搜索这需要带引号(”“),比如查询含有北京的(Address:”北京”)

2.多条件查询,注:如果是针对单个字段进行搜索的可以用(Name:搜索条件加运算符(OR、AND、NOT) Name:搜索条件),比如模糊查询( Name:张 OR Name:李)单个字段多条件搜索不建议这样写,一般建议是在单个字段里进行条件筛选,如(Name:张 OR 李),多个字段查询(Name:张 + Address:北京 )

3.排序,比如根据姓名升序(Name asc),降序(Name desc)

4.查询结果匹配

一般情况下solr默认是进行拆分匹配查询的,如:“苏小小”拆成“苏”,“小”,“小”等。但是如果要进行完全匹配 “苏小小” 可以将关键词用双引号括起来如下:

例如 :

注意:如果在搜索的目标上有一句话中包含这个关键字,那么这段话也会被搜索到,如:“很久很久以前苏小小就是很出名了”。千万不要以为只是关键字的内容才能搜索到。

九、项目代码:

application.yml 中加上如上配置:

#配置sorl

spring:

data:

solr:

host: http://192.168.1.130:8089/solr/mycore

package com.tj.dr.service.impl;

...

import java.util.List;

@Service

public class SearchServiceImpl implements SearchService {

@Autowired

private SearchMapper searchMapper;

@Autowired

private SolrClient solrClient;

@Reference(version = "1.0")

private UserInterfaces userInterfaces;

@Reference(version = "1.0")

private ConfigInterface configInterface;

/**

* 更新索引库所有索引

*/

@Override

public void importAllIndex() {

try {

List searchGoodsDtos = searchMapper.selectByGoodsList();

List documents = new ArrayList<>();

for (SearchGoodsDto goods : searchGoodsDtos) {

SolrInputDocument document = new SolrInputDocument();

document.addField("id", goods.getId());

document.addField("goodsName", goods.getGoodsName());

String price = goods.getGoodsPrice().toString();

document.addField("goodsPrice", price);

String url = null;

if (!Common.isEmpty(goods.getGoodsMainPhotoId())) {

RedpigmallAccessory pic = userInterfaces.getRedpigmallAccessoryById(Long.valueOf(goods.getGoodsMainPhotoId()));

url = configInterface.getSysConfig().getDetail().getImagewebserver() + pic.getPath() + "/"

+ pic.getName();

}

document.addField("goodsMainPhotoId", url);

documents.add(document);

}

solrClient.add(documents);

solrClient.commit();

} catch (Exception e) {

e.printStackTrace();

}

}

/**

* 分页查询商品

*

* @param name

* @param currentPage

* @param pageSize

* @return

*/

@Override

public PageUtils query(String name, int currentPage, int pageSize) throws IOException, SolrServerException {

SolrQuery params = new SolrQuery();

//查询条件

params.set("q", "goodsName:" + name);

//这里的分页和mysql分页一样

params.set("start", (currentPage - 1) * pageSize);

params.set("rows", pageSize);

params.set("wt", "json");

QueryResponse query = solrClient.query(params);

//查询结果

SolrDocumentList results = query.getResults();

List list = new ArrayList<>();

for (SolrDocument result : results) {

GoodsClassNameVo searchGoodsDto = new GoodsClassNameVo();

searchGoodsDto.setId(Long.valueOf(result.get("id").toString()));

searchGoodsDto.setGoodsName(String.valueOf(result.get("goodsName")));

BigDecimal goodsPrice = new BigDecimal(result.get("goodsPrice").toString());

searchGoodsDto.setGoodsPrice(goodsPrice);

if (null!=result.get("goodsMainPhotoId")){

searchGoodsDto.setIcon(result.get("goodsMainPhotoId").toString());

}

list.add(searchGoodsDto);

}

//搜索总数

long found = results.getNumFound();

//搜索开始

long start = results.getStart();

PageUtils pageUtils = new PageUtils<>();

pageUtils.setPageNum(currentPage);

pageUtils.setPageSize(pageSize);

pageUtils.setTotalNum(Integer.valueOf(String.valueOf(found)));

pageUtils.setPageCount(Integer.valueOf(String.valueOf(found / pageSize == 0 ? found / pageSize : found / pageSize + 1)));

pageUtils.setIsMore(found - start > pageSize ? 1 : 0);

pageUtils.setItems(list);

return pageUtils;

}

/**

* @param

* @author: ZhongQiuwu

* Description:添加单个商品索引

* @Date: 13:54 2018/3/31

*/

@Override

public void addGoodsIndex(SearchGoodsDto searchGoodsDto) throws IOException, SolrServerException {

RedpigmallAccessory pic = userInterfaces.getRedpigmallAccessoryById(Long.valueOf(searchGoodsDto.getGoodsMainPhotoId()));

String url = null;

if (pic != null) {

url = configInterface.getSysConfig().getDetail().getImagewebserver() + pic.getPath() + "/"

+ pic.getName();

}

SolrInputDocument document = new SolrInputDocument();

document.addField("id", searchGoodsDto.getId());

document.addField("goodsName", searchGoodsDto.getGoodsName());

String price = searchGoodsDto.getGoodsPrice().toString();

document.addField("goodsPrice", price);

document.addField("goodsMainPhotoId", url);

solrClient.add(document);

solrClient.commit();

}

/**

* @param

* @param ids

* @author: ZhongQiuwu

* Description: 根据id批量删除

* @Date: 13:59 2018/3/31

*/

@Override

public void deleteGoodsIndex(String[] ids) throws IOException, SolrServerException {

List list = new ArrayList<>();

for (String id : ids) {

list.add(id);

}

solrClient.deleteById(list);

solrClient.commit();

}

}

欢迎工作一到五年的Java工程师朋友们加入Java架构开发:855801563

群内提供免费的Java架构学习资料(里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料)合理利用自己每一分每一秒的时间来学习提升自己,不要再用"没有时间“来掩饰自己思想上的懒惰!趁年轻,使劲拼,给未来的自己一个交代

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_39657521/article/details/111895713

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些

PHP设置谷歌验证器(Google Authenticator)实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数,兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios

如何将EXCEL表导入plsql数据库中-程序员宅基地

文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql

Git常用命令速查手册-程序员宅基地

文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...

分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120-程序员宅基地

文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120

【C++缺省函数】 空类默认产生的6个类成员函数_空类默认产生哪些类成员函数-程序员宅基地

文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数

推荐文章

热门文章

相关标签