这就是搜索引擎 核心技术详解【2025|PDF下载-Epub版本|mobi电子书|kindle百度云盘下载】

这就是搜索引擎 核心技术详解PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 搜索引擎及其技术架构1

1.1 搜索引擎为何重要1

1.1.1 互联网的发展1

1.1.2 商业搜索引擎公司的发展3

1.1.3 搜索引擎的重要地位3

1.2 搜索引擎技术发展史4

1.2.1 史前时代：分类目录的一代4

1.2.2 第一代：文本检索的一代5

1.2.3 第二代：链接分析的一代5

1.2.4 第三代：用户中心的一代5

1.3 搜索引擎的3个目标6

1.4 搜索引擎的3个核心问题7

1.4.1 3个核心问题7

1.4.2 与技术发展的关系8

1.5 搜索引擎的技术架构9

第2章 网络爬虫12

2.1 通用爬虫框架12

2.2 优秀爬虫的特性15

2.3 爬虫质量的评价标准18

2.4 抓取策略19

2.4.1 宽度优先遍历策略（Breath First）20

2.4.2 非完全PageRank策略（Partial PageRank）21

2.4.3 OCIP策略（Online Page Importance Computation）23

2.4.4 大站优先策略（Larger Sites First）23

2.5 网页更新策略23

2.5.1 历史参考策略24

2.5.2 用户体验策略24

2.5.3 聚类抽样策略24

2.6 暗网抓取（Deep Web Crawling）26

2.6.1 查询组合问题27

2.6.2 文本框填写问题29

2.7 分布式爬虫30

2.7.1 主从式分布爬虫（Master-Slave）31

2.7.2 对等式分布爬虫（Peer to Peer）31

本章提要34

本章参考文献34

第3章 搜索引擎索引36

3.1 索引基础36

3.1.1 单词—文档矩阵37

3.1.2 倒排索引基本概念37

3.1.3 倒排索引简单实例39

3.2 单词词典42

3.2.1 哈希加链表42

3.2.2 树形结构43

3.3 倒排列表（Posting List）44

3.4 建立索引45

3.4.1 两遍文档遍历法（2-Pass In-Memory Inversion）45

3.4.2 排序法（Sort-based Inversion）46

3.4.3 归并法（Merge-based Inversion）49

3.5 动态索引50

3.6 索引更新策略51

3.6.1 完全重建策略（Complete Re-Build）51

3.6.2 再合并策略（Re-Merge）52

3.6.3 原地更新策略（In-Place）55

3.6.4 混合策略（Hybrid）57

3.7 查询处理57

3.7.1 一次一文档（Doc at a Time）58

3.7.2一次一单词（Term at a Time）59

3.7.3 跳跃指针（Skip Pointers）60

3.8 多字段索引62

3.8.1 多索引方式62

3.8.2 倒排列表方式63

3.8.3 扩展列表方式（Extent List）64

3.9 短语查询64

3.9.1 位置信息索引（Position Index）65

3.9.2 双词索引（Nextword Index）66

3.9.3 短语索引（Phrase Index）67

3.9.4 混合方法67

3.10 分布式索引（Parallel Indexing）68

3.10.1 按文档划分（Document Partitioning）69

3.10.2 按单词划分（Term Partitioning）70

3.10.3 两种方案的比较72

本章提要73

本章参考文献73

第4章 索引压缩76

4.1 词典压缩76

4.2 倒排列表压缩算法78

4.2.1 评价索引压缩算法的指标79

4.2.2 一元编码与二进制编码79

4.2.3 Elias Gamma算法与Elias Delta算法81

4.2.4 Golomb算法与Rice算法81

4.2.5 变长字节算法（Variable Byte）83

4.2.6 SimpleX系列算法84

4.2.7 PForDelta算法86

4.3 文档编号重排序（DocID Reordering）89

4.4 静态索引裁剪（Static Index Pruning）93

4.4.1 以单词为中心的索引裁剪94

4.4.2 以文档为中心的索引裁剪96

本章提要97

本章参考文献97

第5章 检索模型与搜索排序99

5.1 布尔模型（Boolean Model）101

5.2 向量空间模型（Vector Space Model）102

5.2.1 文档表示102

5.2.2 相似性计算104

5.2.3 特征权重计算106

5.3 概率检索模型108

5.3.1 概率排序原理108

5.3.2 二元独立模型（Binary Independent Model）110

5.3.3 BM25模型113

5.3.4 BM25F模型115

5.4 语言模型方法116

5.5 机器学习排序（Leaming to Rank）119

5.5.1 机器学习排序的基本思路120

5.5.2 单文档方法（PointWise Approach）121

5.5.3 文档对方法（PairWise Approach）122

5.5.4 文档列表方法（ListWise Approach）123

5.6 检索质量评价标准125

5.6.1 精确率与召回率126

5.6.2 P@10指标127

5.6.3 MAP指标（Mean Average Precision）128

本章提要129

本章参考文献129

第6章 链接分析131

6.1 Web图131

6.2 两个概念模型及算法之间的关系133

6.2.1 随机游走模型（Random Surfer Model）133

6.2.2 子集传播模型135

6.2.3 链接分析算法之间的关系136

6.3 PageRank算法137

6.3.1 从入链数量到PageRank137

6.3.2 PageRank计算138

6.3.3 链接陷阱（Link Sink）与远程跳转（Teleporting）139

6.4 HITS算法（Hypertext Induced Topic Selection）140

6.4.1 Hub页面与Authority页面140

6.4.2 相互增强关系141

6.4.3 HITS算法142

6.4.4 HITS算法存在的问题144

6.4.5 HITS算法与PageRank算法比较145

6.5 SALSA算法146

6.5.1 确定计算对象集合146

6.5.2 链接关系传播148

6.5.3 Authority权值计算150

6.6 主题敏感PageRank（Topic Sensitive PageRank）152

6.6.1 主题敏感PageRank与PageRank的差异152

6.6.2 主题敏感PageRank计算流程153

6.6.3 利用主题敏感PageRank构造个性化搜索156

6.7 Hilltop算法156

6.7.1 Hilltop算法的一些基本定义157

6.7.2 Hilltop算法158

6.8 其他改进算法162

6.8.1 智能游走模型（Intelligent Surfer Model）162

6.8.2 偏置游走模型（Biased Surfer Model）163

6.8.3 PHITS算法（Probability Analogy ofHITS）163

6.8.4 BFS算法（Backward Forward Step）163

本章提要164

本章参考文献164

第7章 云存储与云计算166

7.1 云存储与云计算概述167

7.1.1 基本假设167

7.1.2 理论基础168

7.1.3 数据模型170

7.1.4 基本问题170

7.1.5 Google的云存储与云计算架构171

7.2 Google文件系统（GFS）173

7.2.1 GFS设计原则174

7.2.2 GFS整体架构174

7.2.3 GFS主控服务器176

7.2.4 系统交互行为178

7.3 Chubby锁服务179

7.4 BigTable181

7.4.1 BigTable的数据模型181

7.4.2 BigTable整体结构183

7.4.3 BigTable的管理数据184

7.4.4 主控服务器（Master Server）186

7.4.5 子表服务器（Tablet Server）187

7.5 Megastore系统191

7.5.1 实体群组切分192

7.5.2 数据模型193

7.5.3 数据读／写与备份195

7.6 Map/Reduce云计算模型195

7.6.1 计算模型196

7.6.2 整体逻辑流程197

7.6.3 应用示例198

7.7 咖啡因系统——Percolator199

7.7.1 事务支持200

7.7.2 观察／通知体系结构202

7.8 Pregel图计算模型203

7.9 Dynomo云存储系统206

7.9.1 数据划分算法（Partitioning Algorithm）207

7.9.2 数据备份（Replication）208

7.9.3 数据读／写208

7.9.4 数据版本控制209

7.10 PNUTS云存储系统210

7.10.1 PNUTS整体架构211

7.10.2 存储单元211

7.10.3 子表控制器与数据路由器213

7.10.4 雅虎消息代理213

7.10.5 数据一致性214

7.11 HayStack存储系统215

7.11.1 HayStack整体架构216

7.11.2 目录服务218

7.11.3 HayStack缓存219

7.11.4 HayStack存储系统219

本章提要222

本章参考文献222

第8章 网页反作弊224

8.1 内容作弊224

8.1.1 常见内容作弊手段225

8.1.2 内容农场（Content Farm）226

8.2 链接作弊227

8.3 页面隐藏作弊230

8.4 Web 2.0作弊方法231

8.5 反作弊技术的整体思路232

8.5.1 信任传播模型233

8.5.2 不信任传播模型234

8.5.3 异常发现模型234

8.6 通用链接反作弊方法236

8.6.1 TrustRank算法237

8.6.2 BadRank算法238

8.6.3 SpamRank239

8.7 专用链接反作弊技术240

8.7.1 识别链接农场240

8.7.2 识别Google轰炸241

8.8 识别内容作弊241

8.9 反隐藏作弊241

8.9.1 识别页面隐藏241

8.9.2 识别网页重定向242

8.10 搜索引擎反作弊综合框架242

本章提要244

本章参考文献244

第9章 用户查询意图分析246

9.1 搜索行为及其意图246

9.1.1 用户搜索行为246

9.1.2 用户搜索意图分类248

9.2 搜索日志挖掘250

9.2.1 查询会话（Query Session）250

9.2.2 点击图（Click Graph）251

9.2.3 查询图（Query Graph）252

9.3 相关搜索253

9.3.1 基于查询会话的方法253

9.3.2 基于点击图的方法254

9.4 查询纠错255

9.4.1 编辑距离（Edit Distance）256

9.4.2 噪声信道模型（Noise Channel Model）257

本章提要257

本章参考文献258

第10章 网页去重259

10.1 通用去重算法框架261

10.2 Shingling算法262

10.3 I-Match算法265

10.4 SimHash算法268

10.4.1 文档指纹计算269

10.4.2 相似文档查找270

10.5 SpotSig算法272

10.5.1 特征抽取272

10.5.2 相似文档查找273

本章提要274

本章参考文献274

第11章 搜索引擎缓存机制276

11.1 搜索引擎缓存系统架构277

11.2 缓存对象279

11.3 缓存结构281

11.4 缓存淘汰策略（Evict Policy）283

11.4.1 动态策略284

11.4.2 混合策略284

11.5 缓存更新策略（Refresh Policy）285

本章提要286

本章参考文献287

第12章 搜索引擎发展趋势288

12.1 个性化搜索288

12.2 社会化搜索290

12.3 实时搜索291

12.4 移动搜索293

12.5 地理位置感知搜索294

12.6 跨语言搜索296

12.7 多媒体搜索298

12.8 情境搜索299