虽然后世以百度、谷歌为代表的搜索引擎最终呈献给用户的,只是一个只有一个搜索条和一个搜索按钮的简单页面,但是隐藏在页面后台的却是一个由成千上万台服务器,天文数字级的海量数据,以及一个复杂的搜索引擎软件组成的庞大系统,而这个系统的核心,就是搜索引擎,
搜索引擎虽然很复杂,但是其系统总体架构却并不复杂,主要由网络数据采集模块,数据分析排序模块,数据库,用户查询请求分析模块等组成,起工作流程也很简单:
网络数据采集模块是一个很重要的模块,其主要功能是从网络上抓取网页信息发送回搜索引擎服务器,这个模块有一个很形象的名字,叫做网络蜘蛛,也有人把它叫做网络机器人,之所以叫网络蜘蛛,是因为蜘蛛会踩着它吐的蛛丝在网上漫步,而网络蜘蛛虽然自己不吐丝,但是互联网上的超链接却将无数的网页连接成一个巨大的网,网络蜘蛛则会在这个网上不停地到处爬行,采集网页信息,之所以叫网络机器人,却是因为这种爬行搜索的过程,是完全自动化进行的缘故,
网络蜘蛛将搜集到的网页信息,发送回搜索引擎服务器,由网络数据分析模块对之进行分析,按照一定的算法,给每个网页赋予一定的权重,将网页进行排序,
判断一个搜索引擎的优劣,很大程度上,取决于这个排序算法,一个优秀的全文搜索引擎,能够通过优化排序,让用户第一时间得到自己想要的信息,而不用继续往下翻页,所以,这个排序算法将会是整个搜索引擎最核心的技术,
对此,肖远自然也是十分熟悉的,实际上,他并沒有打算从头至尾自己独立去完成搜索引擎的开发,而是准备在玄涅组建一个开发小组,共同合作來完成整个系统的开发,但是,网页信息权重分配和排序模块,作为其中最重要,最核心的部分,他却是要自己亲自开发的,而且在开发完成后,还会将之作为公司最核心的技术机密,为之申请专利,利用法律对其进行保护,
至于其他非核心的模块,即使是网络蜘蛛这样的重要功能模块,在搞清楚工作原理后,开发并不困难,所以,他准备交给开发小组來做,自己就不亲自动手了,
一套完整的搜索引擎开发文档,也不是一时半会儿能够做出來的,肖远晚上只是在草稿纸上画了一些架构图和流程图,然后就上床睡觉了,
从第二天开始,肖远整整花了三天时间,才把整个系统的总体结构设计文档写了一个初稿出來,然后他去了玄涅公司,把唐新宇和顾狼召集在一起,反复对开发文档进行了探讨,修改,数易其稿,如此一來,很多天就匆匆过去了,
与此同时,唐新宇也开始着手对玄涅网络科技股份有限公司进行结构调整,成立了一个网络安全事业部,将以玄涅防火墙为核心的网络安全产品及相关业务,全部划归到了网络安全事业部,
与网络安全事业部并立,唐新宇开始着手组建搜索引擎事业部,而顾狼也按照预定计划,配合唐新宇,着手组建搜索引擎开发小组,
段炎月这段时间除了继续完善玄涅开源社区建设计划书之外,也在着手组建玄涅的第三个特殊的事业部,,玄涅开源事业部,之所以说这个事业部特殊,是因为这个事业部和其他两个事业部不同,它虽然名义上隶属于玄涅公司,但是无论财权,还是经营权,都是完全独立的,在建立这个事业部后,段炎月也正是开始着手招人,进行开源事业部的组织建设了,
杨静宸也在上次与段炎月会面后,于一周后,在学校为玄涅开源社区准备组建的高校开源软件联盟争取到了400mbps的免费网络带宽,这个带宽在高校开源联盟建设初期,也暂时够用一阵子了,
在得到网络带宽之后,肖远给段炎月列了个设备清单,并划了一百万给她,让段炎月按照清单,进行设备采购,在江州大学进行部署,并让顾狼安排了技术人员,协助段炎月将玄涅论坛往教育网内迁移,并按照段炎月的要求,对其改造升级,
总之,这一段时间,作为玄涅创业团队中的几个核心成员,肖远,唐新宇,顾狼,段炎月都是异常的繁忙,用连轴转來形容,也一点儿也不为过,
…………
时间很快进入了七月下旬,搜索引擎开发小组组建完成,顾狼仍然是开发小组的组长,本來顾狼是想让肖远但当组长的,但是却被肖远推辞了,因为他并不能长时间的留在这个开发小组,在他把自己的工作做完后,还有其他重要的事情要做,如果他当组长,到那时,还得还给顾狼,而临阵换将,历來都是兵家大忌,
尽管肖远沒有担任开发小组的族长,但是开发小组的每个人却知道,肖远也是公司的股东,如此以至于开发小组的成员对他都很客气,
但是,开发小组的成员所知道的也仅限于此了,他们不知道的是,这个搜索引擎的总体架构是肖远设计的,甚至不知道搜索引擎的最核心的模块,,网页权重分配和排序算法也将由亲自來开发,
之所以要这样做,肖远有着自己的考虑,因为他无法担当开发小组的组长,也注定了他不适合成为开发小组的核心,但是作为一个开发团队,必须有一个核心人物,这个人物除了他,只能是顾狼,如果让开发小组的人知道了真相,那么他将成为开发小组内很特殊的一个存在,而这个存在对于顾狼的核心地位,是非常不利的,进而也会对开发小组产生很不利的影响,
所以,肖远从进入开发小组第一天开始,就要求顾狼刻意隐瞒了一切,甚至在分配开发任务的时候,核心算法的开发任务也是由顾狼领走了,而肖远则分配到了一个很边缘的模块,如此一來,给开发小组造成的印象是,肖远根本就是來打酱油的,有沒有都是无所谓的事情,而这个,却是肖远自己乐于看到的结果,
因为前期文档做的详细,而且肖远设计的软件架构对于分工合作非常有利,开发工作进行的很顺利,肖远每天也都会和一般员工一样,按时上班,下班,而且还能做着自己喜欢的事业,对未來充满了期待,这样的生活平静中带有激情,让他很留恋,
但是当时间到了七月二十七号的时候,他不得不暂时离开了公司,因为这一天,是高考成绩正式公布的日子,
ps:这一章要考虑的东西太多,改了又改,简直殚精竭虑了,还好写出來了,也算是长长的松了口气,
搜索引擎虽然很复杂,但是其系统总体架构却并不复杂,主要由网络数据采集模块,数据分析排序模块,数据库,用户查询请求分析模块等组成,起工作流程也很简单:
网络数据采集模块是一个很重要的模块,其主要功能是从网络上抓取网页信息发送回搜索引擎服务器,这个模块有一个很形象的名字,叫做网络蜘蛛,也有人把它叫做网络机器人,之所以叫网络蜘蛛,是因为蜘蛛会踩着它吐的蛛丝在网上漫步,而网络蜘蛛虽然自己不吐丝,但是互联网上的超链接却将无数的网页连接成一个巨大的网,网络蜘蛛则会在这个网上不停地到处爬行,采集网页信息,之所以叫网络机器人,却是因为这种爬行搜索的过程,是完全自动化进行的缘故,
网络蜘蛛将搜集到的网页信息,发送回搜索引擎服务器,由网络数据分析模块对之进行分析,按照一定的算法,给每个网页赋予一定的权重,将网页进行排序,
判断一个搜索引擎的优劣,很大程度上,取决于这个排序算法,一个优秀的全文搜索引擎,能够通过优化排序,让用户第一时间得到自己想要的信息,而不用继续往下翻页,所以,这个排序算法将会是整个搜索引擎最核心的技术,
对此,肖远自然也是十分熟悉的,实际上,他并沒有打算从头至尾自己独立去完成搜索引擎的开发,而是准备在玄涅组建一个开发小组,共同合作來完成整个系统的开发,但是,网页信息权重分配和排序模块,作为其中最重要,最核心的部分,他却是要自己亲自开发的,而且在开发完成后,还会将之作为公司最核心的技术机密,为之申请专利,利用法律对其进行保护,
至于其他非核心的模块,即使是网络蜘蛛这样的重要功能模块,在搞清楚工作原理后,开发并不困难,所以,他准备交给开发小组來做,自己就不亲自动手了,
一套完整的搜索引擎开发文档,也不是一时半会儿能够做出來的,肖远晚上只是在草稿纸上画了一些架构图和流程图,然后就上床睡觉了,
从第二天开始,肖远整整花了三天时间,才把整个系统的总体结构设计文档写了一个初稿出來,然后他去了玄涅公司,把唐新宇和顾狼召集在一起,反复对开发文档进行了探讨,修改,数易其稿,如此一來,很多天就匆匆过去了,
与此同时,唐新宇也开始着手对玄涅网络科技股份有限公司进行结构调整,成立了一个网络安全事业部,将以玄涅防火墙为核心的网络安全产品及相关业务,全部划归到了网络安全事业部,
与网络安全事业部并立,唐新宇开始着手组建搜索引擎事业部,而顾狼也按照预定计划,配合唐新宇,着手组建搜索引擎开发小组,
段炎月这段时间除了继续完善玄涅开源社区建设计划书之外,也在着手组建玄涅的第三个特殊的事业部,,玄涅开源事业部,之所以说这个事业部特殊,是因为这个事业部和其他两个事业部不同,它虽然名义上隶属于玄涅公司,但是无论财权,还是经营权,都是完全独立的,在建立这个事业部后,段炎月也正是开始着手招人,进行开源事业部的组织建设了,
杨静宸也在上次与段炎月会面后,于一周后,在学校为玄涅开源社区准备组建的高校开源软件联盟争取到了400mbps的免费网络带宽,这个带宽在高校开源联盟建设初期,也暂时够用一阵子了,
在得到网络带宽之后,肖远给段炎月列了个设备清单,并划了一百万给她,让段炎月按照清单,进行设备采购,在江州大学进行部署,并让顾狼安排了技术人员,协助段炎月将玄涅论坛往教育网内迁移,并按照段炎月的要求,对其改造升级,
总之,这一段时间,作为玄涅创业团队中的几个核心成员,肖远,唐新宇,顾狼,段炎月都是异常的繁忙,用连轴转來形容,也一点儿也不为过,
…………
时间很快进入了七月下旬,搜索引擎开发小组组建完成,顾狼仍然是开发小组的组长,本來顾狼是想让肖远但当组长的,但是却被肖远推辞了,因为他并不能长时间的留在这个开发小组,在他把自己的工作做完后,还有其他重要的事情要做,如果他当组长,到那时,还得还给顾狼,而临阵换将,历來都是兵家大忌,
尽管肖远沒有担任开发小组的族长,但是开发小组的每个人却知道,肖远也是公司的股东,如此以至于开发小组的成员对他都很客气,
但是,开发小组的成员所知道的也仅限于此了,他们不知道的是,这个搜索引擎的总体架构是肖远设计的,甚至不知道搜索引擎的最核心的模块,,网页权重分配和排序算法也将由亲自來开发,
之所以要这样做,肖远有着自己的考虑,因为他无法担当开发小组的组长,也注定了他不适合成为开发小组的核心,但是作为一个开发团队,必须有一个核心人物,这个人物除了他,只能是顾狼,如果让开发小组的人知道了真相,那么他将成为开发小组内很特殊的一个存在,而这个存在对于顾狼的核心地位,是非常不利的,进而也会对开发小组产生很不利的影响,
所以,肖远从进入开发小组第一天开始,就要求顾狼刻意隐瞒了一切,甚至在分配开发任务的时候,核心算法的开发任务也是由顾狼领走了,而肖远则分配到了一个很边缘的模块,如此一來,给开发小组造成的印象是,肖远根本就是來打酱油的,有沒有都是无所谓的事情,而这个,却是肖远自己乐于看到的结果,
因为前期文档做的详细,而且肖远设计的软件架构对于分工合作非常有利,开发工作进行的很顺利,肖远每天也都会和一般员工一样,按时上班,下班,而且还能做着自己喜欢的事业,对未來充满了期待,这样的生活平静中带有激情,让他很留恋,
但是当时间到了七月二十七号的时候,他不得不暂时离开了公司,因为这一天,是高考成绩正式公布的日子,
ps:这一章要考虑的东西太多,改了又改,简直殚精竭虑了,还好写出來了,也算是长长的松了口气,