网页正文提取
April 6th, 2010
1 comment
网页正文提取的算法很多也很复杂 当然准确度更有不同
技术难点无非就是在正文除噪
我的实现方法是《基于相似度及密度匹配》
1 网页分块
2 标题相似度匹配
3 求网页平均长度及密度
下图是sina的一篇新闻最终页密度值及相似度波形图：
先放出demo
准确度还有待提高
Archive
Archive for the ‘算法’ Category
server_name_in_redirect off;
2010-03-26 18:12:04 通过qq
exophp:添加了基于xml的exophp-config.xml控制层配置文件来做action映射
2010-03-25 14:43:17 通过qq
峰值对正文匹配概率和网页除噪的影响挺大的 加大测试
2010-03-25 14:32:43 通过qq
峰值对正文匹配概率和网页除噪的影响挺大的 加大测试
2010-03-25 14:31:06 通过qq
峰值对正文匹配概率和网页除噪的影响挺大的 加大测试
2010-03-25 14:27:57 通过qq
峰值对正文匹配概率和网页除噪的影响挺大的
2010-03-25 14:24:17 通过qq
exophp:对model层的数据源进行了容错处理 以便解决如数据库宕机等问题
2010-03-19 15:47:29 通过qq
exophp:调整ActionMapper的方法映射
2010-03-19 12:05:59 通过qq
exophp: 修改plug.sys.db.dpdo 添加了pdoErrors 日志
2010-03-19 10:33:35 通过qq
增加了框架拦截器的日志分组功能
2010-03-19 10:24:48 通过qq