前一阵 在研究搜索引擎分词技术...研究了好长时间 才有了结果..
网上的资料说的都很笼统...下面是自己的安装记录....
SOLR 安装及中文分词
一. 准备文件
1. Apache Solr 1.3
2. Apache Tomcat
3. jdk6.0
Apache Solr 1.3:
windows 版本 http://labs.xiaonei.com/apache-mirror/lucene/solr/1.3.0/apache-solr-1.3.0.zip
linux 版本 http://labs.xiaonei.com/apache-mirror/lucene/solr/1.3.0/apache-solr-1.3.0.tgz
分词以 Paoding 词为例 . 我的版本是 paoding-analysis-2.0.4-beta
二. 安装
1. 装 JDK 6.0 它集成了 JRE. 如果 是 5.0 以下的版本 .. 则需要安装 JRE
2 安装 Tomcat; 安装过程中 会提示 JDK 目录 . 选中你安装的目录即可 . 我这里 Tomcat 目录为 D:/Tomcat5.5
3. 把 Apache Solr 1.3 解压到目录 .. D:/apache-solr-1.3.0, 将它下面的 dist 文件夹中的 pache-solr-1.3.0.war 拷贝到 tomcat 的 webapps ，并且改名为 solr.war
4. 新建一个 solr-tomcat 目录 .. 我的是 D:/solr-tomcat/ 建在哪儿你可以自己决定 . 把它下面在建立一个 solr 文件夹，把 D:/apache-solr-1.3.0, 包里面的 example/solr 文件夹下面的所有文件放入到 solr 里面
5. 在 D:/Tomcat5.5 的 conf 文件夹建立 Catalina 文件夹，然后在 Catalina 文件夹中在建立 localhost 文件夹，在该文件夹下面建立 solr.xml ，
内容为 :
<Context ocBase="D:/Tomcat5.5/webapps/solr.war" debug="0" crossContext="true" > # 上面 solr.war 的目录
<Environment name="solr/home" type="java.lang.String" value="D:/solr-tomcat/solr" override="true" /> #solr 的安装目录
</Context>
6.Tomcat 运行 http://localhost:8080/solr/
成功跑起来了
三. 安装中文分词
在上面的一个文章中，已经使 solr 跑起来了，在上面的基础上，加入中文分词。我用的是 paoding 分词器！
1. 请下好 paoding 分词器，下载地址：
http://code.google.com/p/paoding/downloads/list
解压 我的目录是 D:/paoding-analysis-2.0.4-beta
2. 在使用 paoding 的时候要注意： paoding 的 dic 位置，也就是字典的位置
3. 编译一个 jar 包 如果没有 可以自己下载 jar 包
代码如下 :
package com.yeedoo.slor.tokenizer;
import java.io.Reader;
import java.util.Map;
import net.paoding.analysis.analyzer.PaodingTokenizer;
import net.paoding.analysis.analyzer.TokenCollector;
import net.paoding.analysis.analyzer.impl.MaxWordLengthTokenCollector;
import net.paoding.analysis.analyzer.impl.MostWordsTokenCollector;
import net.paoding.analysis.knife.PaodingMaker;
import org.apache.lucene.analysis.TokenStream;
import org.apache.solr.analysis.BaseTokenizerFactory;
public class ChineseTokenizerFactory extends BaseTokenizerFactory {
/**
* 最多切分 默认模式
*/
public static final String MOST_WORDS_MODE = "most-words";
/**
* 按最大切分
*/
public static final String MAX_WORD_LENGTH_MODE = "max-word-length";
private String mode = null;
public void setMode(String mode) {
if (mode == null || MOST_WORDS_MODE.equalsIgnoreCase(mode) || "default".equalsIgnoreCase(mode)) {
this.mode = MOST_WORDS_MODE;
} else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {
this.mode = MAX_WORD_LENGTH_MODE;
} else {
throw new IllegalArgumentException(" 不合法的分析器 Mode 参数设置 :" + mode);
}
}
@Override
public void init(Map<String,String> args) {
super.init(args);
setMode(args.get("mode").toString());
}
public TokenStream create(Reader input) {
return new PaodingTokenizer(input, PaodingMaker.make(), createTokenCollector());
}
private TokenCollector createTokenCollector() {
if (MOST_WORDS_MODE.equals(mode))
return new MostWordsTokenCollector();
if (MAX_WORD_LENGTH_MODE.equals(mode))
return new MaxWordLengthTokenCollector();
throw new Error("never happened");
}
}
将 这个 jar 包 和 paoding 目录下的 paoding-analysis.jar 一起复制到 D:/Tomcat5.5/webapps/solr/WEB-INF/lib
4.D:/solr-tomcat/solr/conf 目录下 schema.xml 文件
找到 < fieldType name ="text" class ="solr.TextField" positionIncrementGap ="100" >
将下面的 <tokenizer class="solr.WhitespaceTokenizerFactory"/> 替换为
< tokenizer class ="com.yeedoo.slor.tokenizer.ChineseTokenizerFactory" mode ="most-words" />
将 <analyzer type="query"> 下面的
<tokenizer class="solr.WhitespaceTokenizerFactory"/>
替换为
< tokenizer class ="com.yeedoo.slor.tokenizer.ChineseTokenizerFactory" mode ="most-words" />
重启你的 tomcat ， ok ！
利用SOLR 搭建企业搜索平台 之十（数据库数据导入到solr ）
一. 准备文件
1.apache-solr-dataimporthandler-1.3.0.jar 在D:/apache-solr-1.3.0/dist 目录下
2.D:/apache-solr-1.3.0/example/example-DIH/solr
3. 你是哪种数据库，提供该数据库的jdbc 驱动。
二.
在 D:/solr-tomcat/solr/conf
下创建 data-import.xml
文件 代码如下
<?xml version="1.0" encoding="UTF-8"?>
<dataConfig>
<dataSource type="JdbcDataSource"
driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://localhost/discuz"
user="root"
password="root"/>
<document name="doc">
<entity name="jos_content" query="select * from cdb_members ">
<field column="uid" name="uid" />
<field column="username" name="username" />
</entity>
</document>
</dataConfig>
四. 修改D:/solr-tomcat/solr/conf 下solrconfig.xml
在613 行 加一下代码
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">./data-import.xml</str>
</lst>
</requestHandler>
五. 修改D:/solr-tomcat/solr/conf 下schema.xml
<defaultSearchField>uid</defaultSearchField> 设置默认搜索的字段
去掉所有<fields>… </fields> 中间的内容 加以下代码
<fields>
<field name="uid" type="string" indexed="true" stored="true" required="true"/>
<field name="username" type="text" indexed="true" stored="true" required="true"/>
<dynamicField name="*" type="ignored" /> # 必填!!!
</fields>
六. 去掉所有<solrQueryParser defaultOperator="OR"/>…</schema> 中间的内容
加一下代码
<copyField source="uid" dest="most-words"/>
<copyField source="username" dest="most-words"/>
注意 :
第五 和第六 是设置字段的..
要与 data-import.xml
里面的字段保持一致
重启 tomcat ,OK
