在工作中遇到的一些问题和经验,仅给自己总结
1. 在weibo 选取contenthead length时,需要对长度进行一下测试。
如果长度很短,查出的条数可能会非常多,造成过多的网络开销
统计时使用的脚本:
(1) 选取一天的md5加密的字段出来
mysql -ustock -p 91z -e"SELECT id,pub_date, md5contenthead FROM weibo WHERE DATE_FORMAT(pub_date,'%Y-%m-%d')='2012-06-14' AND site = 4" > out.file --disable-column-names
(2)进行mysql 语句的整合
awk '{print "SELECT COUNT(*) FROM weibo WHERE md5contenthead = '\''" $4 "'\'';"}' out.file > out2.file
(3)查询
mysql -ustock -p 91z < out2.file > out3.file --disable-column-names
2.
vim行首添加#、tab等字符
按键操作:
注释:ctrl+v 进入列编辑模式,向下或向上移动光标,把需要注释的行的开头标记起来,然后按大写的I,再插入注释符,比如"#",按住shift键,同时按下向下移动光标两次,再按Esc,就会全部注释了。
删除:按ctrl+v 进入列编辑模式,向下或向上移动光标,选中注释部分,然后按d, 就会删除注释符号(#)。
3.Linux下python中文编码的问题。
同样的程序在WIN下跑正常,在Linux下跑读取个别文件会提示“UnicodeDecodeError: 'gbk' codec can't decode bytes in position 30664-30665: illegal multibyte sequence”
这是因为遇到了非法字符——尤其是在某些用C/C++编写的程序中,全角空格往往有多种不同的实现方式,比如\xa3\xa0,或者\xa4\x57,这些字符,看起来都是全角空格,但它们并不是“合法”的全角空格(真正的全角空格是\xa1\xa1),因此在转码的过程中出现了异常。
按网上的方法是这样解决:
s.decode('gbk', 'ignore').encode('utf-8')
因为decode的函数原型是decode([encoding], [errors='strict']),可以用第二个参数控制错误处理的策略,默认的参数就是strict,代表遇到非法字符时抛出异常;
如果设置为ignore,则会忽略非法字符;
如果设置为replace,则会用?取代非法字符;
如果设置为xmlcharrefreplace,则使用XML的字符引用。
我的解决方法是直接忽略非法字符:
s.decode('gbk', 'ignore')
分享到:
相关推荐
工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记工作笔记
ORACLE DBA工作笔记 运维数据迁移与性能调优 清晰版 。。。
源码+原型+数据库 工作笔记管理系统源码+原型+数据库 工作笔记管理系统源码+原型+数据库 工作笔记管理系统源码+原型+数据库 工作笔记管理系统源码+原型+数据库 工作笔记管理系统源码+原型+数据库 工作笔记管理系统...
我的工作笔记我的工作笔记我的工作笔记我的工作笔记我的工作笔记
网管工作笔记之故障诊断排除专辑,很不错的技术学校资料
金蝶EAS-BOS工作笔记:150+个BOS开发过程中可能遇到的问题及解答!
Apache Web服务器配置与使用工作笔记
[Apache服务器配置与使用工作笔记].pdf 个人收集电子书,仅用学习使用,不可用于商业用途,如有版权问题,请联系删除!
Apache服务器配置与使用工作笔记.pdf 个人收集电子书,仅用学习使用,不可用于商业用途,如有版权问题,请联系删除!
《Apache服务器配置与使用工作笔记》详细介绍了新版本的Apache服务器软件的安装、配置与管理,通过这些介绍,读者能快速地将Apache运用到工作中。在每个章节后附有常见问题解答(FAQ),帮助读者解决一些在Apache...
apache 服务器配置与使用工具书。[Apache服务器配置与使用工作笔记].王江伟.扫描版
《Apache服务器配置与使用工作笔记》.(王江伟).[PDF].&ckook;
上传一份自己从学习到工作整理出来的android的笔记,会不断更新,希望对初学者有用
Java工作笔记 从网上下载的,比较好,转载一下
苹果ios开发一年的工作笔记 退回输入键盘 - (BOOL) textFieldShouldReturn:(id)textField{ [textField resignFirstResponder]; } CGRect CGRect frame = CGRectMake (origin.x, origin.y, size.width, size....
本人08年工作 真正开始做电子是从12年开始,工作笔记记载个人工作中需要记忆的一些知识
工作之余写的C语言工作笔记——含大量图片,血泪教程,很多都是用了整天时间才解决的问题
MTK工作笔记.doc MTK工作笔记.doc MTK工作笔记.doc