收录日期:2019/10/18 22:16:27 时间:2016/06/06 10:24:42 标签:Eclipse
最近我研究 全文搜索引擎的心得 
研究心得: 
1、看到网上那么多人在研究: Google的Page Rank我很心痛 ,我就看了两天Page Rank的资料,就明白它哪个算法基本上没有任何实用价值。其实只是一个思路而已,如果完全照搬它的算法,那将一事无成。 
2、还有很多人研究什么Java中的Luncece那就更可笑了,我就举一个很简单的问题:一亿网页的容量有多大,谁能告诉我? 
     接近 1万G呀,所以用普通编程的思路做全文搜索引擎是行不通的 。 
3、还有很多人研究中文分词,写了很长的文章,却只字不提中文分词在搜索引擎中的作用和用途。其实应该是两不分: A、用来计算关键字在文本中出现的次数 B、用来查询的。 
4、还有很多人问那些信息是如何保存的,其实很简单:文件+数据库 
最后我要说一下总体思路: 
  抓取----然后---预处理----然后索引---然后----保密 
预处理: 包括计算 rank 将htm文件中的htm表示提取纯文本信息 ,然后保存对应的文本信息 
数据库中只保存 文件编号 url Rank  Title 纯文本信息等基本信息 
然后索引  索引很重要么?  答案是:索引不是非常重要  
主要是 "保密" 这部分的运算 
运算之后就可以直接将结果返回给客户端了  
用我的新研究的方法进行运算取得结果用时在 1秒以内   

以上是我研究的一些心得,希望对大家有所帮助。 

也许有人会问,那你用什么语言开发? 
当然用 C、C++ 最好,其次是用Delphi开发 ,这样不但效率高,还可以保证程序在Linux下照样可以执行。 

最后也许还有人回问,蜘蛛的效率如何,你写过没有? 
答案是:我正在写,下面是一个网友对我的小蜘蛛进行的评测: 
========================================= 
▄【┻┳═一(99923309) 12:05:57 
思鱼给他们讲讲我的 蜘蛛  
思鱼(20275543) 12:02:50 
我在家里测试了一下 
  
思鱼(20275543) 12:03:00 
很不错 
  
思鱼(20275543) 12:03:10 
和摆渡前几年的一样   
============================ 
根据我自己的测试,我电脑的配置(P4+512MB内存+40G硬盘+512K的带宽)一天可以抓取 10万个网页,而且每个网页的大小限制在 100K以内,Baidu目前每个网页的大小限制在 130K以内。 

最后,我已经收集了100万个国内的一级域名. 

有兴趣的可以一起聊聊啊! 

erp2@163.com   
www.519so.com  是我花了两周时间做的一个小测试服务器的内存是 512MB 

QQ:99923309 
强,没研究过这些.
强,很感兴趣,你的蜘蛛能发一个给我学习一下吗?yuanzhucn@yahoo.com.cn

xp 进不去了,好难受 print输出宽度有规定,左对齐,不足补空格,怎么做啊? 请求高手帮助!关于组合窗体的问题,十万火急! 存储过程 我刚装了LINUX系统但是上不了网。总是说我server name不对 如何在用户关闭窗口时弹出一个对话框,提示\"是否退出..?\"选否则返回该窗口? 请问哪位知道采用逆波兰式方式实现的公式解析器的源码或在那里能找到?高分相送! 怎样定期的把Access里面几个表中的数据导到Sql Server中。 如何进行自定义文件格式和自编程序相关联? jbuilder7 有谁能帮我用Java建一个用html传输mail的接口(不带图片的) 请对了解和想了解G.723的朋友都来聊聊 IIS的\\inetpub\\mailroot\\queue的邮件不会自动发送出去,需要按“stop\",再按\"play\"才会发出几封,请问这是什么原因? 如何得到一个邮件服务器上的某個人邮件? 急!急!急!--请高人指点。 听说出了Delphi 7 .net 是真的吗? 关于一个trigger引用master库中sysdatabases表单的问题. Linux原代码几个小问题。 请问webservice.htc文件是自己还是到微软那下载?怎样写呢? 一个关于数据库添加的问题 请问如何在程序中给DataGrid某个单元格中的超链接列添加javascript? 在我调试程序时,出现了有关\"cs3250mt.dll\"文件的出错信息,是怎么回事呢,急死我了!!!大家帮帮我吧!!! 急!! 关于Delphi中控件数组的问题 往jbuilder里加文件的问题?怎么找不到类? 我在装有ie6的机器上 写一个程序 调用了webbrowser, 程序在ie5的机器上能不能使用?需要连同什么软件一齐? 想买些delphi方面的书 想在Page1页面中填内容,然后在Page2中显示并保存此内容,怎么实现? 请问win2000下使用的tomcat应该下载哪一个啊? EXCHANG2000如何备份?