网站结构主要包括主导航、小导航、站内链接、模块调用四个主要部分。一个好 的网站结构,不仅能够提高蜘蛛爬虫对网站的认可度,方便爬虫抓取和收录网站 数据,还能提升网站的用户体验;
主导航:方便用户快速了解公司和公司的服务、产品等,也能让用户快速的联系 到我们;
小导航:帮助用户和爬虫定位当前位置,和浏览路径,帮助爬虫理解网站分类结构。
站内链接:主要只网页主题内容部分的链接,这一部分链接的锚文本推荐词应该 以产品、服务为主,注意给锚文本加粗,锚文本关键词遵循简洁明确的原则;
模块调用:调用内容应该是最新、最相关、最热门、用户最关心、最感兴趣的内 容,采用复合调用的方式,多维度为爬虫和用户提供其他相关网页。