---
title: "一种面向搜索引擎的网页分块、切片的原理，实现和演示"
author: "winzenghua"
date: "2005-11-27T09:14:00Z"
tags: []
slug: "untitled"
draft: false
lastmod: "2005-11-27T09:14:00Z"
id: 950215
url: "https://java4gis.iteye.com/blog/950215"
---

一种面向搜索引擎的网页分块、切片的原理，实现和演示

最近看到 2005 年的 [全国搜索引擎和网上信息挖掘学术研讨会](http://www.sewm2005.edu.cn/info.htm) 上 华南木棉信息检索的队长 欧健文 的 华南木棉信息检索 的ppt。很有启发。

于是自己也根据自己的理解准备做一个实现。  
实现前提假设：  
1、网页分块切分的基本单位是html中的table , div 等标签（目前版本只支持：table ,div 标签）。  
2、网页分块切片识别依赖于相似url的对比。比如：我们认为一下两个url的网页html文本结构相似：  
http://news.soufun.com/2005-11-26/580107.htm  
http://news.soufun.com/2005-11-26/580175.htm  
而下面两个url的网页结构不相似：  
http://news.soufun.com/subject/weekly051121/index.html  
http://news.soufun.com/2005-11-26/580175.htm

用途：  
1、根据分析网页结构区分网页是 主题型网页 还是 目录型网页；  
2、根据分析网页结构 找出 网页的 主题内容，相关内容和噪音内容；

实现的3个阶段：  
1、对网页结构进行合理切片；  
2、比较相似网页的切片结构；  
3、分析切片数据，得出结论。  
演示地址：  
[http://www.domolo.com:8090/domoloWeb/html-page-slice.jsp](http://www.domolo.com:8090/domoloWeb/html-page-slice.jsp)