以文本方式查看主题 - 中文XML论坛 - 专业的XML技术讨论区 (http://bbs.xml.org.cn/index.asp) -- 『 XML在语音技术中的应用 』 (http://bbs.xml.org.cn/list.asp?boardid=47) ---- 最近我研究 全文搜索引擎的心得(二) (http://bbs.xml.org.cn/dispbbs.asp?boardid=47&rootid=&id=27976) |
-- 作者:erp2 -- 发布时间:3/1/2006 4:16:00 PM -- 最近我研究 全文搜索引擎的心得(二) 最近我研究 全文搜索引擎的心得(二) 我最近在做搜索引擎最后的一个工序的两个程序(任务调度中心和任务执行) 我现在有 10太工作站,每台上面有 200万笔资料,电脑启动时就加载到内存中,由任务调度中心给他们分配工作任务,执行完毕后由任务中心将结果返回客户端 每个任务调度中心下面可以管理 254个工作站,每个工作站分配 200万笔数据信息,这样一来就可以满足更大数据量的处理了, 同时工作站的数据一开始就在内存中,所以处理起来速度会非常快,我想也许这是最好的方法了, baidu 或 google 也不可能有比这更好的办法了。(也许你会说这家伙太狂了),是的,确实有点。(在这些工作站里面会考虑专门给交费客户专用的工作站,专门用于新闻信息的工作站等划分) 希望对你有所帮助! |
-- 作者:sevencat -- 发布时间:3/23/2006 9:03:00 AM -- 关注,有更多资料可以SHARE吗? |
W 3 C h i n a ( since 2003 ) 旗 下 站 点 苏ICP备05006046号《全国人大常委会关于维护互联网安全的决定》《计算机信息网络国际联网安全保护管理办法》 |
4,234.375ms |