wzhiju
wzhiju · 共 50 篇文章
[置顶] 分词词典的构造机制(一)
对于初步接触分词的朋友们来说,分词词典的构造是一件不可小觑的事情。因为词典的好坏直接影响到算法的性能、运行时间。换句话说,分词词典构造的好,将会极大地改观分词的性能,而各种复杂的分词算法,直接依赖于分词词典的构造机制(是进行分词的根基)。下面将分几个部分进行词典构造机制几种方法的介绍。 在这片文章中,根据我所用过的最基础的方法进行词典的构造,即拼音的索引方法。(也是大家最能直接想到的方法) 下面结合我的应用,分享一下具体的做法。 hashMap.java 文件 文件用来将拼音生成一个 LinkedHashMap 表,并对应与相应的键值。如下所示: hashMap.put("a", 0); h…
2010-10-05 16:08 · 分词词典构造 · 评论(0)
httpclient 假死问题
之前总是发现 httpclient 有假死的问题,各种超时时间都设置了,都不能解决,最近跟踪了下,发现是 dns 解析地方的超时导致,在 InetAddress.getByName 卡住 虽然Socket类有setTimeout()方法,URLConnection有setConnectTimeout()方法,但这都不能给DNS查询过程添加时间限制,也就是说,如果DNS服务器挂了,那么代码就会阻塞几十秒才能抛出异常。我最近就遇到了这个问题,当DNS服务器出问题的时候,setTimeout()设置的超时时间就不起作用了。 经过google,发现Java目前居然还没有现成的API来处理DNS查询超…
2016-05-10 11:32 · 杂 · 评论(0)
java.lang.OutOfMemoryError: unable to create new native thread
使用httpclient 抓取时, 出现 java.lang.OutOfMemoryError: unable to create new native thread 错误原因: 1. OutOfMemoryError:unable to create new native thread , 不是内存泄露的问题,应该是系统内存不足的问题。 抓取时,httpclient 起了多个线程,而线程的占用的是系统内存,不在 heap 里。当系统内存不足时,可能会出现这个问题 2. 虽然每次抓取后都有调用 releaseConnection 方法,但并没有立即把连接关闭,而是把连接返回给了 connec…
2015-01-28 13:40 · Java 编程 · 评论(0)
mysql 5.6 linux 下 新机安装 出现的问题汇总
1.下载MySQL 我下载的版本:mysql-5.6.4.tar.gz 2.安装之前先卸载CentOS自带的MySQL [root@localhost ~]# yum remove mysql 3.编译安装Cmake 下载cmake源码包: http://www.cmake.org/files/v2.8/cmake-2.8.4.tar.gz 从共享目录移至usr目录 [root@localhost ~]# mv /home/user/cmake-2.8.4.tar.gz /usr/cmake-2.8.4.tar.gz [root@localhost ~]# cd /usr 解压并安装cmak…
2014-11-01 22:36 · 数据库 · 评论(0)
如何写好Java代码(转载)
转载自:http://developer.51cto.com/art/201204/332681.htm 想做个优秀编程员?JAVA代码编写的30条建议 列举了大量有用的建议,帮助大家进行低级程序设计,并提供了代码编写的一般性指导: **(1) 类名首字母应该大写。**字段、方法以及对象(句柄)的首字母应小写。对于所有标识符,其中包含的所有单词都应紧靠在一起,而且大写中间单词的首字母。例如: ThisIsAClassName thisIsMethodOrFieldName 若在定义中出现了常数初始化字符,则大写static final基本类型标识符中的所有字母。这样便可标志出它们属于编译期的…
2014-07-16 17:21 · Java 编程 · 评论(0)
正则-匹配url地址
正则表达式 (http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&:/~\+#]*[\w\-\@?^=%&/~\+#])? 匹配 http://regxlib.com/Default.aspx | http://electronics.cnet.com/electronics/0-6342366-8-8994967-1.html 不匹配 www.yahoo.com 正则表达式 ^\\{2}[\w-]+\\(([\w-][\w-\s]*[\w-]+[$$]?$)|([\w-][$$]?$)) 匹配 \\server\service |…
2013-12-10 17:20 · 正则 · 评论(0)
正则表达式
1. 背景:去除content中的url,但非 img 中的链接 regex = “(?<!'|\")(?:http://|ftp://|https://|www\\.)[\\w\\-_]+(?:\\.[\\w\\-_]+)+(?:[\\w\\-\\.,@?^=%&:/~\\+#]*[\\w\\-\\@?^=%&/~\\+#])?”; content = content.replaceAll(regex, ""); 用http 前的 "|' 来区分,当然最好能去除'src=" http' 可能存在的空格, 为了确保只去除url,前面使用(?<!'|\") 模式匹配 2. 推荐一个比较全面的正…
2013-12-10 17:18 · 正则 · 评论(0)
navicat 快捷键
Navicat For Mysql快捷键 ctrl+q 打开查询窗口 ctrl+/ 注释sql语句 ctrl+shift +/ 解除注释 ctrl+r 运行查询窗口的sql语句 ctrl+shift+r 只运行选中的sql语句 F6 打开一个 mysql 命令行窗口 ctrl+l 删除一行 ctrl+n 打开一个新的查询窗口 ctrl+w 关闭一个查询窗口
2013-11-28 12:09 · mysql · 评论(0)
工作中用的一些命令
1. 用jar包启动java 进程 java -Xms60m -Xmx400m -Djava.ext.dirs=./../lib -Djava.library.path=./../lib -Dlog_name=./../log/Test -cp xxx.jar com.ttz.test.Test [ ./../conf/xxxxxxxxx.properties] 2. 文件中 重复的行 排序汇总 cat /tmp/tt | sort | uniq -c > /tmp/xx cat /tmp/tt | sort | uniq -c | awk '{print $1 "------" $2 }'…
2013-08-14 12:02 · 杂 · 评论(0)
对Linux文件名中有“-”的操作
Linux中"-"有特殊的含义,比如在命令的后面加"-"表示后面跟的是选项。但是如何新建带名字中有"-",下面介绍三种方法,比如要新建文件"-a": 1、cd . > -a 2、vi -- -a 3、echo "" > -a 上面三种方法都可以在当前目录下新建一个"-a"文件,当然还可以有别的方法新建,这里就不在介绍。如果要删除"-a"就比较麻烦了,如果你输入 rm -a,系统会提示你: rm:无效选项 -- a 请尝试执行‘rm --help’来获取更多信息。 对于这样的文件可以有两种方法来删除,如下所示: 1、rm ./-a 2、rm -- -a 改名字也不用说了,基本上就是在文件名前面…
2012-11-22 15:27 · Linux · 评论(0)
ERROR Makefile: : *** missing separator
在make命令后出现这种错误提示,是提示第2行没有分隔符。 如: all: echo "Hello World" 明明加了 tab 但是make时总是出问题。发现原来是因为 在.vimrc 中设置了 set expandtab 将tab空格化,导致error的出现。在.vimrc中去除set expandtab,make 通过。
2012-11-21 11:31 · makefile · 评论(0)
mysql 取整
mysql的取整函数: 1.ceil() 向上取整 例: ceil(1.2) = 2 2.floor () 向下取整 例: floor(1.2) = 1 3.round() 四舍五入 例: round(1.3) = 1 ;round (1.6) - 2 UPDATE rate SET rate = CEIL(rate) WHERE .... SELECT ROUND(rate) FROM TABLE WHERE .....
2012-09-14 14:28 · mysql · 评论(0)
工作笔记(2012-08-02)
本周工作中发现的一些需要记录的内容 1. 从server1 scp 一个文件 到server2,出现permission denied 问题,scp其他文件没有问题。 原因:server2 scp 目录下有一个同名文件,owner为其他用户,scp的用户无权覆盖。
2012-08-02 11:00 · 杂 · 评论(0)
工作笔记
在工作中遇到的一些问题和经验,仅给自己总结 1. 在weibo 选取contenthead length时,需要对长度进行一下测试。 如果长度很短,查出的条数可能会非常多,造成过多的网络开销 统计时使用的脚本: (1) 选取一天的md5加密的字段出来 mysql -ustock -p 91z -e"SELECT id,pub_date, md5contenthead FROM weibo WHERE DATE_FORMAT(pub_date,'%Y-%m-%d')='2012-06-14' AND site = 4" > out.file --disable-column-names (2)…
2012-06-15 19:19 · 杂 · 评论(0)
mysql sql 一些sql语句
1. mysql 替换字符串 e.g: UPDATE table_name SET content = REPLACE(content,'str_source;','str_wanted') where id BETWEEN 505042 AND 555042
2012-06-15 18:12 · mysql · 评论(0)