高难度的搜索相关笔试题，还没有人解决。

[li1gang11]

1、
考虑一个在线好友系统。系统为每个用户维护一个好友列表，列表限制最多可以有500个好友，好友必须是这个系统中的其它用户。好友关系是单向的，用户B是用户A的好友，但A不一定是B的好友。

用户以ID形式表示，现给出好友列表数据的文本形式如下：
1 3,5,7,67,78,3332
2 567,890
31 1,66
14 567
78 10000
…
每行数据有两列，第一列为用户ID，第二列为其好友ID，不同ID间用”,”分隔，ID升序排列。列之间用”t”分隔。


要求：
请设计合适的索引数据结构，来完成以下查询：
给定用户A和B，查询A和B之间是否有这样的关系：B是A的二维好友（好友的好友）。
如上例中，10000为1的二维好友，因为78为1的好友，10000为78的好友。

详细说明自己的解题思路，说明自己实现的一些关键点。并给出实现的伪代码实现建立索引过程和查询过程，并说明空间和时间复杂度。

限制：
用户数量不超过1000万，平均50个好友。


2、
请设计一个网页存储系统，能存储千万量级的网页。

要求：
1.支持按照URL为键值的随机添加，删除和修改网页
2.支持多个线程同时添加，修改和删除
3.支持多线程按照入库时间批量的获取网页，并尽可能的快
提示:设计应包括如下几方面:
1.网页的存储方式设计,即硬盘数据的组织形式
2.如何支持随机查找
3.如何优化批量检索
4.增删改查之间的同步和互斥,如何达到最大的并发.
系统限制和一些参考参数:
硬盘400G, 内存4G
硬盘的I/O比内存的I/O速度慢1000倍
硬盘的连续I/O比随机I/O快10倍
网页的平均长度为25K
附加：
请说明你的系统在亿到十亿规模的扩展方法．

3、
为某图书馆开发在线浏览系统，使用户可以通过自定义的图书别名浏览相关联的图书
内容。假设该图书馆有1000万注册用户，馆藏图书1000万部。在线浏览系统允许用户自
定义分类名称，每个分类可以包含若干部书籍。用户可以添加、删除分类，修改分类的
名称（同一用户不允许有名称相同的分类），可以在分类下添加、删除书籍，修改书籍
的别名（同一分类下不允许有名称相同的别名）。现在设定每个用户最多可以自定义10
0个分类，每个分类最多可以包含100部书籍。

A、假定用数据库解决存储问题，请设计相关的数据表结构，并给出设计考虑。

B、请给出下列操作的SQL语句

展示用户A的所有分类

展示用户A所设置的分类F下的所有书籍信息

C、请根据题目A的结果，尝试分析一下当用户数目增长到1亿，馆藏图书达到10亿册，每
天访问用户达到500万，平均每人有10次操作时，系统应当做哪些改进或优化。


4、 假设一个mp3搜索引擎收录了2^24首歌曲，并记录了可收听这些歌曲的2^30条URL，但每
首歌的URL不超过2^10个。系统会定期检查这些URL，如果一个URL不可用则不出现在搜索结
果中。现在歌曲名和URL分别通过整型的SONG_ID和URL_ID唯一确定。对该系统有如下需求
：
1) 通过SONG_ID搜索一首歌的URL_ID，给出URL_ID计数和列表
2) 给定一个SONG_ID，为其添加一个新的URL_ID
3) 添加一个新的SONG_ID
4) 给定一个URL_ID，将其置为不可用

限制条件：内存占用不超过1G，单个文件大小不超过2G，一个目录下的文件数不超过128个
。

为获得最佳性能，请说明设计的数据结构、搜索算法，以及资源消耗。如果系统数据量扩
大，该如何多机分布处理？

[huhuan_dlut]

第一个题目很简单，我用java写啦一个，用一个map
import java.io.*;
import java.util.*;

public class ceshi {

public static void main(String[] args) throws Exception {
int B, A;
Map<Integer, LinkedList> mp = new LinkedHashMap<Integer, LinkedList>();
FileReader fr = new FileReader("F:\\hao.txt");
BufferedReader br = new BufferedReader(fr);
String str;
while ((str = br.readLine()) != null) {
StringTokenizer st = new StringTokenizer(str);
while (st.hasMoreElements()) {
int i = Integer.parseInt(st.nextToken());
String s = st.nextToken();
StringTokenizer st1 = new StringTokenizer(s, ",", false);
LinkedList ll = new LinkedList();
while (st1.hasMoreElements()) {
int t = Integer.parseInt(st1.nextToken());
ll.add(t);
}
mp.put(i, ll);
}
}
System.out.println("请输入B");
BufferedReader in = new BufferedReader(new InputStreamReader(System.in));
B = Integer.parseInt(in.readLine());
System.out.println("请输入A");
BufferedReader in1 = new BufferedReader(
new InputStreamReader(System.in));
A = Integer.parseInt(in1.readLine());
LinkedList ll1 = mp.get(A);
Iterator it = ll1.iterator();
while (it.hasNext()) {
int tt = ((Integer) it.next()).intValue();
LinkedList ll2 = mp.get(tt);
if (ll2 != null) {
Iterator it1 = ll2.iterator();
while (it1.hasNext()) {
int tt1 = ((Integer) it1.next()).intValue();
if (tt1 == B) {
System.out.println(B+"是"+A+"的二维好友");
}
}
}
}
}

}

[仰望星空WU]

第一个只是用个map容器来存储好友对应关系。　multimap A用户（B,C,D..), 其实更复杂的是好友通知的问题。预定义好友只是静态的，还有动态的好友通知。
第二个是spider，
每三个是

[lxzm1001]

呵呵

[linyai]

第二道不错,基础的IR知识

随机查找可以使用trie(<算法分析与设计>)
硬盘使用大文件偏移量来解决,
更新删除可以写入新的字符,更新标记,通过后期的文件优化来回收空间.
优化批量检索如果指的是多个查询请求的话可以基于lexicon的CACHE
如果是检索中有多个key word可使用LUCENE 的skip data来优化

至少多线程,锁应该不是好的解决方案

刚学IR,还不能完整解答.

[jmulxg]

之前有看过，好难的题

[liutaoxwl]

对于第一道题：
个人认为主要思想是对每个ID，建立两个指针，一个是指向所有他的好友的ID，一个指向以他为好友的ID。
假设ID是连续的（如果不连续则使用hash表），一个1000万个元素的数组，每个元素有2个指针域，分别指向两个数组，1个数组保存他所有好友的ID（升序排列），另一个数组是保存以他为好友的ID（升序排列）。（这两个数组可以做成固定50个元素的静态数组，大于50个元素则以25为增长量做链表）。

检索的时候，找到A的好友ID数组AID，以及以B为好友的ID数组BID。遍历BID用二分查找在AID中进行查找。（这里可以先找到AID和BID中最小值和最大值，MaxA,MaxB,MinA,MinB，Max=MaxA<MaxB?MaxA:MaxB,Min=MinA>MinB?MinA:MinB，只遍历BID中大于Min且小于Max的ID）

[liutaoxwl]

对于第二题：
设计开始的考虑：
平均每个网页25k，千万个网页就是25k*1000w=256G个字节，32位操作系统每个文件4G，那么需要(25k*1000w)/4g=62.5个文件来存储所有网页的内容。

给每个网页分配一个从0开始的编号，编号顺序及为入库时间顺序（也可以再做一个时间与编号的对照表），网页内容按编号顺序连续存储在多个内容文件中。
索引信息主要是，一个URL包含多少个网页、包含哪些网页（指向内容文件中网页内容的指针）。

2.如何支持随机查找
有个数组按照网页编号顺序记录每个编号的网页内容在内容文件中的指针。

3.如何优化批量检索
支持多线程检索，将以前检索的结果缓存到内存

4.增删改查之间的同步和互斥,如何达到最大的并发
添加的时候没办法，只能锁住信息，进行添加，不过可以先添加内容，因为内容是向后追加的，这时候不影响检索和更新，最后再修改索引数据的时候加锁。
屏蔽位，即用1000万个位（约1.25M）的数组记录所有网页，网页编号表示这个网页在屏蔽数组中的屏蔽位是第几位。
删除的时候，将这个位数组加锁、置位、解锁。
更新就是先删除，再添加。
最后根据屏蔽位数组定期对内容和索引进行维护，回收浪费的空间。

资料的使用：
硬盘400G > 256G 说明方案可行
内存4G 具体做索引的时候会用到
硬盘的I/O比内存的I/O速度慢1000倍 使用内存缓存优化
硬盘的连续I/O比随机I/O快10倍 内容连续存储，可以一次性连续读取某段时间的网页内容。
网页的平均长度为25K 判断需要分文件存储。


最后数据亿~十亿，就要分多台机器了。可以根据网页URL散列到多台机器。

[zp1234567]

如果我没有猜测错的话 这应该是baidu的shit面试题.
看问题就知道出题人是如何的shit了

[knowledge_Is_Life]

等待牛人来答.

[UltraBejing]

关注 接分

[zhang_dongpeng]

广州达梦网络科技有限公司是一家致力于为提供各行业垂直搜索和元搜索服务的专业化公司。公司坚持以服务客户为中心，以技术创新为手段，为客户提供各个行业、任意搜索源精确搜索的解决方案，以及中个小企业信息服务的解决方案！
主要的搜索引擎案例有：万帮生活搜索，114soso网，万帮知识经验搜索，佛教新闻、网页、图片、视频、经典、词典、mp3等搜索。
能为您快速定制各类搜索引擎，如果您各类搜索引擎需求，请联系我们：020-22174900，QQ：46244150。

[lidowx]

关注 接分

[qiuzhenguang]

mark