跳转至

金庸的武侠世界

金庸老爷子一共写了15部武侠小说,它们分别是:

  • 《飞狐外传》(1960年)
  • 《雪山飞狐》(1959年)
  • 《连城诀》(1963年)
  • 《天龙八部》(1963年)
  • 《射雕英雄传》(1957年)
  • 《白马啸西风》(1961年)
  • 《鹿鼎记》(1969年)
  • 《笑傲江湖》(1967年)
  • 《书剑恩仇录》(1955年)
  • 《神雕侠侣》(1959年)
  • 《侠客行》(1965年)
  • 《倚天屠龙记》(1961年)
  • 《碧血剑》(1956年)
  • 《鸳鸯刀》(1961年)
  • 《越女剑》(1970年)

我们现在就用 Python 来探索一下金庸小说中的武侠世界吧。

准备工作

再处理小说之前,我们需要先做一些准备工作。

因为涉及中文字符,所以我们使用 __future__ 中 Python 3 的特性,将所有的字符串转为 unicode

In [1]:

from __future__ import unicode_literals

再来我们解决图像里中文字符显示的问题,Matplotlib虽然支持 unicode 编码,但是直接输出中文字体会出现问题。

In [2]:

import numpy as np
import scipy as sp
import matplotlib.pyplot as plt
%matplotlib inline

x = range(10)
plt.plot(x)
plt.title("中文")
plt.show()

出现上图的原因是它找不到合适的中文字体去显示中文,为此,我们可以去寻找一些支持中文的字体来进行设置。

Windows 7 及以上的系统中,字体位置为 C:/Windows/Fonts,例如:

  • 宋体:C:/Windows/Fonts/simsum.ttc

Linux 系统可以通过 fc-list 命令查看已有的字体和相应的位置,例如:

  • /usr/share/fonts/truetype/osx-font-family/Songti.ttc: Songti TC,宋體\-繁,宋体\-繁:style=Bold,粗體,粗体
  • /usr/share/fonts/truetype/osx-font-family/Devanagari Sangam MN.ttc: Devanagari Sangam MN,देवनागरी संगम एम॰एन॰:style=Bold,粗體,Fed,Fett,Puolilihava,Gras,Grassetto,ボールド,볼드체,Vet,Fet,Negrito,Жирный,बोल्ड,粗体,Negrita
  • /usr/share/fonts/truetype/osx-font-family/Iowan Old Style.ttc: Iowan Old Style,Iowan Old Style Black:style=Black Italic,Italic

也可以从网上直接下载字体

  • 比如 Yahei Consolas 的字体 YaHei.Consolas.1.11b.ttf

找到了字体的位置,我们可以使用 matplotlib.font_manager 中的 FontProperties 导入字体:

font_xxx = FontProperties(fname="/usr/share/fonts/truetype/osx-font-family/Songti.ttc")
font_xxx = FontProperties(fname="C://Windows//Fonts//simsum.ttc") 

为了方便,我们不使用字体的绝对路径导入,而是将需要的字体放在程序对应的文件夹下:

  • simsum.ttc
  • YaHei.Consolas.1.11b.ttf

In [3]:

from matplotlib.font_manager import FontProperties

font_simsum = FontProperties(fname="simsun.ttc")
font_yahei_consolas = FontProperties(fname="YaHei.Consolas.1.11b.ttf")

在绘图的时候进行设置:

In [4]:

x = range(10)
plt.plot(x)
plt.title("中文", fontproperties=font_yahei_consolas, fontsize=14)
plt.show()

小说概览

我们从网上找到金庸小说的 txt 全文,放在 novels 文件夹中:

In [5]:

!ls novels
书剑恩仇录.txt   天龙八部.txt    碧血剑.txt    越女剑.txt    飞狐外传.txt
侠客行.txt 射雕英雄传.txt   神雕侠侣.txt  连城诀.txt    鸳鸯刀.txt
倚天屠龙记.txt   白马啸西风.txt   笑傲江湖.txt  雪山飞狐.txt  鹿鼎记.txt

先一睹为快:

In [6]:

with open('novels/鸳鸯刀.txt') as f:
    # 去掉结尾的换行符
    data = [line.strip().decode('utf8') for line in f.readlines()]

for line in data[:13]:
    if line.strip():
        print line
  鸳鸯刀
  四个劲装结束的汉子并肩而立拦在当路
  若是黑道上山寨的强人不会只有四个莫非在这黑沉沉的松林之中暗中还埋伏下大批人手如是剪径的小贼见了这么声势浩大的镖队远避之唯恐不及哪敢这般大模大样的拦路挡道难道竟是武林高手冲着自己而来
  凝神打量四人最左一人短小精悍下巴尖削手中拿着一对峨嵋钢刺第二个又高又肥便如是一座铁塔摆在地下身前放着一块大石碑碑上写的是先考黄府君诚本之墓”,这自是一块墓碑了不知放在身前有何用意黄诚本没听说江湖上有这么一位前辈高手啊第三个中等身材白净脸皮若不是一副牙齿向外凸出了一寸一个鼻头低陷了半寸倒算得上是一位相貌英俊的人物他手中拿的是一对流星锤最右边的是个病夫模样的中年人衣衫褴褛咬着一根旱烟管双目似睁似闭嘴里慢慢喷着烟雾竟是没将这一队七十来人的镖队瞧在眼里
  那三人倒还罢了这病夫定是个内功深湛的劲敌顷刻之间江湖上许多轶闻往事涌上了心头一个白发婆婆空手杀死了五名镖头劫走了一支大镖一个老乞丐大闹太原府公堂割去了知府的首级倏然间不知去向一个美貌大姑娘打倒了晋北大同府享名二十余年的张大拳师……越是貌不惊人满不在乎的人物越是武功了得江湖上有言道:“真人不露相露相不真人。”
  瞧着这个闭目抽烟的病夫陕西西安府威信镖局的总镖头、“铁鞭镇八方周威信不由得深自踌躇起来不由自主的伸手去摸了一摸背上的包袱

出场人物

接着,我们先找到金庸小说中所有出场的人物,放到 names.txt 文件中,其格式为:

小说1
人物1 人物2 ……
小说2
人物1 人物2 ……
小说3
人物1 人物2 ……
……

In [7]:

with open('names.txt') as f:
    # 去掉结尾的换行符
    data = [line.strip().decode('utf8') for line in f.readlines()]

novels = data[::2]
names = data[1::2]

novel_names = {k: v.split() for k, v in zip(novels, names)}

for name in novel_names['天龙八部'][:20]:
    print name
刀白凤
丁春秋
马夫人
马五德
小翠
于光豪
巴天石
不平道人
邓百川
风波恶
甘宝宝
公冶乾
木婉清
包不同
天狼子
太皇太后
王语嫣
乌老大
无崖子
云岛主

寻找主角光环

我们来看看人物在小说中的出场次数统计。

显然出场次数越多,自然主角光环越强,我们定义一个函数寻找小说中主角光环最强的几个人:

In [8]:

def find_main_charecters(novel, num=10):
    with open('novels/{}.txt'.format(novel)) as f:
        data = f.read().decode('utf8')
    count = []
    for name in novel_names[novel]:
        count.append([name, data.count(name)])
    count.sort(key=lambda x: x[1])
    _, ax = plt.subplots()

    numbers = [x[1] for x in count[-num:]]
    names = [x[0] for x in count[-num:]]
    ax.barh(range(num), numbers, color='red', align='center')
    ax.set_title(novel, fontsize=14, fontproperties=font_yahei_consolas)
    ax.set_yticks(range(num))
    ax.set_yticklabels(names, fontsize=14, fontproperties=font_yahei_consolas)

天龙八部:

In [9]:

find_main_charecters("天龙八部")

显然,就《天龙八部》来说,萧(乔)峰,段誉,虚竹这三兄弟的主角光环最强。

再看射雕三部曲:

In [10]:

find_main_charecters("射雕英雄传")
find_main_charecters("神雕侠侣")
find_main_charecters("倚天屠龙记")

Word2Vec

接下来,我们将使用一些机器学习的观点来处理这些小说。

Word2Vec 是一款将词表征为实数值向量的高效工具,原理就不过多介绍了,感兴趣的可以自行搜索,

gensim 包提供了一个 Python 版的实现。

首先安装 gensim

pip install gensim 

安装完成之后,导入这个包:

In [11]:

import gensim
Using gpu device 1: Tesla C2075 (CNMeM is disabled, CuDNN not available)

中文分词

虽然我们安装了 gensim,但我们还不可以直接使用它来进行 Word2Vec 的操作,因为 Word2Vec 中的词默认是用空格分隔的,而中文小说显然不符合这个要求,为此,我们需要对中文进行分词。

一个比较好用的 Python 中文分词包叫做 jieba (结巴)。

安装 jieba:

pip install jieba 

导入:

In [12]:

import jieba

jieba 包具有识别新词的能力,不过为了得到更准确的分词结果,我们可以将人名导入 jieba 库的字典,除此之外,我们还加入门派和武功的专有名词:

In [13]:

for _, names in novel_names.iteritems():
    for name in names:
        jieba.add_word(name)

with open("kungfu.txt") as f:
    kungfu_names = [line.decode('utf8').strip() for line in f.readlines()]

with open("bangs.txt") as f:
    bang_names = [line.decode('utf8').strip() for line in f.readlines()]

for name in kungfu_names:
    jieba.add_word(name)

for name in bang_names:
    jieba.add_word(name)
Building prefix dict from the default dictionary ...
DEBUG:jieba:Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
DEBUG:jieba:Loading model from cache /tmp/jieba.cache
Loading model cost 0.370 seconds.
DEBUG:jieba:Loading model cost 0.370 seconds.
Prefix dict has been built succesfully.
DEBUG:jieba:Prefix dict has been built succesfully.

我们按照段落处理文本:

In [14]:

novels = ["书剑恩仇录", 
          "天龙八部",
          "碧血剑",
          "越女剑",
          "飞狐外传",
          "侠客行",
          "射雕英雄传",
          "神雕侠侣",
          "连城诀",
          "鸳鸯刀",
          "倚天屠龙记",
          "白马啸西风",
          "笑傲江湖",
          "雪山飞狐",
          "鹿鼎记"]

sentences = []

for novel in novels:
    print "处理:{}".format(novel)
    with open('novels/{}.txt'.format(novel)) as f:
        data = [line.decode('utf8').strip() for line in f.readlines() if line.decode('utf8').strip()]
    for line in data:
        words = list(jieba.cut(line))
        sentences.append(words)
处理书剑恩仇录
处理天龙八部
处理碧血剑
处理越女剑
处理飞狐外传
处理侠客行
处理射雕英雄传
处理神雕侠侣
处理连城诀
处理鸳鸯刀
处理倚天屠龙记
处理白马啸西风
处理笑傲江湖
处理雪山飞狐
处理鹿鼎记

训练模型

默认参数进行训练:

In [15]:

model = gensim.models.Word2Vec(sentences, size=100, window=5, min_count=5, workers=4)

我们可以把训练好的模型存到本地:

In [16]:

model.save("louis_cha.model")

从本地磁盘上读取模型:

In [17]:

model = gensim.models.Word2Vec.load("louis_cha.model")

相似度结果

有了模型,我们可以进行一些简单而有趣的测试。

首先看与乔峰相似的人:

In [18]:

for k, s in model.most_similar(positive=["乔峰", "萧峰"]):
    print k, s
段正淳 0.839533925056
慕容复 0.800726354122
虚竹 0.796926677227
童姥 0.791711509228
谢烟客 0.787050366402
游坦之 0.786818385124
余鱼同 0.780444204807
袁承志 0.779631733894
钟万仇 0.759801149368
贝海石 0.756160736084

出来的都是出场较多的男性人物。

再看看与阿朱相似的人:

In [19]:

for k, s in model.most_similar(positive=["阿朱"]):
    print k, s
钟灵 0.789930582047
阿紫 0.77720785141
方怡 0.774438858032
钟夫人 0.767169654369
香香公主 0.763835728168
王语嫣 0.761606991291
青青 0.761157155037
仪琳 0.75483584404
木婉清 0.751208424568
段誉 0.745343744755

这回出现的是一群女性角色。

除了人物,我们可以看看门派:

In [20]:

for k, s in model.most_similar(positive=["丐帮"]):
    print k, s
长乐帮 0.807791054249
雪山派 0.793763160706
峨嵋派 0.792181968689
天地会 0.789434850216
门人 0.785883545876
红花会 0.78480899334
恒山派 0.779587745667
嵩山派 0.77581256628
全真教 0.763592064381
魔教 0.746910750866

这个出来的结果就是一堆门派。

还可以看看武功秘籍:

In [21]:

for k, s in model.most_similar(positive=["降龙十八掌"]):
    print k, s
打狗棒法 0.89123404026
空明拳 0.890258312225
太极拳 0.884406626225
一阳指 0.874251723289
心法 0.874069094658
八卦掌 0.864349603653
绝招 0.864094853401
乾坤大挪移 0.858512759209
六合拳 0.852675139904
拳法 0.848574995995

在 Word2Vec 的模型里,有过“中国-北京=法国-巴黎”的例子,这里我们也可以找到这样的例子:

In [22]:

def find_relationship(a, b, c):
    """
 返回 d
 a与b的关系,跟c与d的关系一样
 """
    d, _ = model.most_similar(positive=[c, b], negative=[a])[0]
    print "给定“{}”与“{}”,“{}”和“{}”有类似的关系".format(a, b, c, d)

find_relationship("段誉", "段公子", "乔峰")
给定段誉段公子”,“乔峰乔帮主有类似的关系

类似的:

In [23]:

# 情侣对
find_relationship("郭靖", "黄蓉", "杨过")

# 岳父女婿
find_relationship("令狐冲", "任我行", "郭靖")

# 非情侣
find_relationship("郭靖", "华筝", "杨过")
给定郭靖黄蓉”,“杨过小龙女有类似的关系
给定令狐冲任我行”,“郭靖黄药师有类似的关系
给定郭靖华筝”,“杨过绿萼有类似的关系

以及,小宝你是有多爱男人:

In [24]:

# 韦小宝
find_relationship("杨过", "小龙女", "韦小宝")
find_relationship("令狐冲", "盈盈", "韦小宝")
find_relationship("张无忌", "赵敏", "韦小宝")
给定杨过小龙女”,“韦小宝康熙有类似的关系
给定令狐冲盈盈”,“韦小宝康熙有类似的关系
给定张无忌赵敏”,“韦小宝康熙有类似的关系

除了人物之间的关系,门派武功之间的关系:

In [25]:

find_relationship("郭靖", "降龙十八掌", "黄蓉")
find_relationship("武当", "张三丰", "少林")
find_relationship("任我行", "魔教", "令狐冲")
给定郭靖降龙十八掌”,“黄蓉打狗棒法有类似的关系
给定武当张三丰”,“少林灭绝师太有类似的关系
给定任我行魔教”,“令狐冲恒山派有类似的关系

人物聚类分析

之前我们对文本进行 Word2Vec 的结果,是将一个中文词组,映射到了一个向量空间,因此,我们可以利用这个向量表示的空间,对这些词进行聚类分析。

因为全部小说中的人物太多,我们考虑从单本小说进行入手:

In [26]:

all_names = []
word_vectors = None

for name in novel_names["天龙八部"]:
    if name in model:
        all_names.append(name)
        if word_vectors is None:
            word_vectors = model[name]
        else:
            word_vectors = np.vstack((word_vectors, model[name]))

all_names = np.array(all_names)

KMeans

聚类我们可以使用很多方法,这里我们用 scikit-learn 自带的几种聚类方法进行聚类。

先考虑 Kmeans:

In [27]:

from sklearn.cluster import KMeans

如果只分成3类,那么很明显地可以将众人分成主角,配角,跑龙套的三类:

In [28]:

N = 3
label = KMeans(N).fit(word_vectors).labels_

for c in range(N):
    print "\n类别{}:".format(c+1)
    for idx, name in enumerate(all_names[label==c]):
        print name,
        if idx % 10 == 9:
            print 
    print
类别1
刀白凤 丁春秋 马夫人 巴天石 邓百川 风波恶 公冶乾 包不同 乌老大 云中鹤
白世镜 本因 过彦之 司马林 玄慈 玄寂 玄难 叶二娘 左子穆 李秋水
全冠清 阮星竹 朱丹臣 阿碧 波罗星 鸠摩智 耶律洪基 苏星河 段延庆 范骅
赵钱孙 哲罗星 钟万仇 秦红棉 徐长老 崔百泉 萧远山 褚万里 慕容博 谭婆
薛慕华

类别2
马五德 小翠 不平道人 甘宝宝 天狼子 太皇太后 无崖子 止清 天山童姥 本参
本观 本相 出尘子 冯阿三 古笃诚 兰剑 平婆婆 石嫂 司空玄 玄苦
玄生 玄痛 耶律莫哥 李春来 李傀儡 刘竹庄 朴者和尚 许卓诚 竹剑 阿洪
阿胜 陈孤雁 来福儿 努儿海 宋长老 苏辙 吴长风 辛双清 严妈妈 余婆婆
岳老三 张全祥 单伯山 单季山 单小山 单正 段正明 宗赞王子 苟读 华赫艮
郁光标 卓不凡 范百龄 哈大霸 吴光胜 梦姑 神山上人 神音 室里 姚伯当
幽草 龚光杰 贾老者 康广陵 容子矩 桑土公 唐光雄 奚长老 诸保昆 崔绿华
符敏仪 菊剑 梅剑 游骥 游驹 傅思归 葛光佩 缘根 鲍千灵 智光大师
瑞婆婆 端木元 黎夫人 谭公 赫连铁树 谭青 摘星子 慧方 慧观 慧净
慧真 穆贵妃 吴领军 易大彪

类别3
木婉清 王语嫣 乔峰 萧峰 阿朱 阿紫 段誉 段正淳 钟灵 虚竹
游坦之 慕容复

我们把众龙套去掉:

In [29]:

N = 4
c = sp.stats.mode(label).mode
remain_names = all_names[label!=c]
remain_vectors = word_vectors[label!=c]

remain_label = KMeans(N).fit(remain_vectors).labels_

for c in range(N):
    print "\n类别{}:".format(c+1)
    for idx, name in enumerate(remain_names[remain_label==c]):
        print name,
        if idx % 10 == 9:
            print 
    print
类别1
刀白凤 马夫人 风波恶 包不同 乌老大 白世镜 司马林 叶二娘 左子穆 李秋水
阮星竹 阿碧 苏星河 赵钱孙 钟万仇 秦红棉 崔百泉 萧远山 慕容博 谭婆
薛慕华

类别2
木婉清 王语嫣 阿朱 阿紫 段誉 钟灵 虚竹

类别3
丁春秋 云中鹤 乔峰 萧峰 鸠摩智 段延庆 段正淳 游坦之 慕容复

类别4
巴天石 邓百川 公冶乾 本因 过彦之 玄慈 玄寂 玄难 全冠清 朱丹臣
波罗星 耶律洪基 范骅 哲罗星 徐长老 褚万里

可以看到,段家的儿子和女儿倾向于聚在一起,而反派角色则倾向于被聚在一起。

层级聚类

换一本小说:

In [30]:

all_names = []
word_vectors = None

for name in novel_names["倚天屠龙记"]:
    if name in model:
        all_names.append(name)
        if word_vectors is None:
            word_vectors = model[name]
        else:
            word_vectors = np.vstack((word_vectors, model[name]))

all_names = np.array(all_names)

这次采用层级聚类的方式,调用的是 Scipy 中层级聚类的包:

In [31]:

import scipy.cluster.hierarchy as sch

In [32]:

Y = sch.linkage(word_vectors, method="ward")

_, ax = plt.subplots(figsize=(10, 40))

Z = sch.dendrogram(Y, orientation='right')
idx = Z['leaves']

ax.set_xticks([])
ax.set_yticklabels(all_names[idx], fontproperties=font_yahei_consolas)
ax.set_frame_on(False)

plt.show()

来看红色聚类区的上半部分:

与张教主相关的人物:两个女人,赵敏和周芷若;父母和义父。

而红色聚类区的下半部分主要是明教与武当中与张无忌相关的部分。

门派和武功

除了人物,我们还可以考虑对武功进行聚类分析:

In [33]:

all_names = []
word_vectors = None
for name in kungfu_names:
    if name in model:
        all_names.append(name)
        if word_vectors is None:
            word_vectors = model[name]
        else:
            word_vectors = np.vstack((word_vectors, model[name]))

all_names = np.array(all_names)

Y = sch.linkage(word_vectors, method="ward")

_, ax = plt.subplots(figsize=(10, 35))

Z = sch.dendrogram(Y, orientation='right')
idx = Z['leaves']

ax.set_xticks([])
ax.set_yticklabels(all_names[idx], fontproperties=font_yahei_consolas)
ax.set_frame_on(False)

plt.show()

可以认为,一部分是主角比较厉害的武功,比较多的那部分只能算是配角们的武功。

再来就是门派的聚类:

In [34]:

all_names = []
word_vectors = None
for name in bang_names:
    if name in model:
        all_names.append(name)
        if word_vectors is None:
            word_vectors = model[name]
        else:
            word_vectors = np.vstack((word_vectors, model[name]))

all_names = np.array(all_names)

Y = sch.linkage(word_vectors, method="ward")

_, ax = plt.subplots(figsize=(10, 25))

Z = sch.dendrogram(Y, orientation='right')
idx = Z['leaves']

ax.set_xticks([])
ax.set_yticklabels(all_names[idx], fontproperties=font_yahei_consolas)
ax.set_frame_on(False)

plt.show()

比较少的这一类,基本都是在某几部小说中出现的主要门派,而大多数门派都是打酱油的。

总结

飞雪连天射白鹿,笑书神侠倚碧鸳。



回到顶部