今日份在蚂蚁老师的vip群里，有一位群友提出一个需求

我马上想到可以用所学的pandas相关知识解决

让我们来看看群友的具体需求

我们根据群友的需求，构造了出了相应的表格数据

在这里，我在name字段下先设定了一些值

开始写代码！

首先引入numpy和pandas，这俩是数据分析领域必不可少的模块

import numpy as np
# 这行代码的意思是通过设置固定的随机数种子，让你我生成的随机数是一样的
np.random.seed(666)
import pandas as pd

# 读取我们的excel文件
data = pd.read_excel("data.xlsx")

观察数据，我们有十六名员工，除了姓名，其它都是空值

data

将空值用0到1之间的随机数代替

def initialize(item):
    # 如果发现当前这个元素是空值，就用随机数代替
    if pd.isnull(item):
        return np.random.random()
    # 否则就原样返回（对应name那列）
    else:
        return item

通过applymap函数，将上面的自定义函数应用到表格中的每一个数据上

new_data = data.applymap(initialize)

再来看看我们构造好的数据new_data，发现已经得到预期值了

new_data

接下来我想将上面的表格进行自表连接，便于计算，所以设置了一个用于连接的公共字段one

new_data["one"] = 1

new_data.head(5)

进行自表连接，可以发现我们连接后的表有256行，也就是16*16，符合预期

需要注意的是，为了区分一左右两个表的数据来源，会将来源于左表的字段加_x，来源于右表则加_y

new_data_merge = pd.merge(left=new_data, right=new_data, left_on="one", right_on="one")

new_data_merge

256 rows × 25 columns

紧接着，我们看一下特征属性，要剔除name字段以及用于自表连接的one字段

我们也可以通过修改columns里面的值，自定义关注哪些字段

columns = list(new_data.columns)
columns.remove("name")
columns.remove("one")
columns

['Java',
 'Python',
 'AS400',
 'ITID',
 'Oracle',
 'Bigdata',
 'SQL',
 'Leadership',
 'Management',
 'Creativity',
 'Communication']

计算相似度的函数

我们通过“欧式距离”来表征相似度，欧式距离越大，说明两者之间差距越大，相似度越小，反之亦然

def similarity(row):
    # 传进来的row是表中的一行
    # 设定相似度的初始值是0
    sim_value = 0.0
    # 取出一行当中的每一个特征值
    # 相应的特征值相减之后的结果再进行平方，最后全部加起来，也就是“欧氏距离”的概念
    for column in columns:
        sim_value += (float(row[column+"_x"]) - float(row[column+"_y"]))**2
    return sim_value

通过设定axis=1来指定对表格中的每一行进行计算相似度的操作

new_data_merge["sim"] = new_data_merge.apply(similarity, axis=1)

来看看计算后的表格，发现多了一个字段sim

new_data_merge.sample(15)

15 rows × 26 columns

然后，在自表连接的时候肯定有“自己连自己的情况”

也就是name_x字段的值等于name_y

这些是无意义的数据，剔除

new_data_merge = new_data_merge[new_data_merge["name_x"] != new_data_merge["name_y"]].copy()

随机选5条清理后的数据看看

new_data_merge.sample(5)

5 rows × 26 columns

找每个员工与他最相似的10个员工

def get_top_student(df_sub):
    # 传入的是清洗后的数据结果groupby后的子表，对应单个员工的数据
    # 例如刘备与其他人连接的所有行，曹操与其他人连接的所有行
    
    # 对这个子表按sim值，也就是相似度进行升序排序，取出前10条数据
    df_sort = df_sub.sort_values(by="sim", ascending=True).head(10)
    # 将前十个人的名字取出
    names = ",".join(list(df_sort["name_y"]))
    # 将前十个人的值相似度值取出
    sims = ",".join([str(x) for x in list(df_sort["sim"])])
    # 打包成Series返回给调用它的地方
    return pd.Series({"names": names, "sims": sims})

对清洗后的表先按name_x进行groupby分组，对每一个分组，调用上述函数

result = new_data_merge.groupby("name_x").apply(get_top_student)

结果如下

例如，与关羽最相似的前十位依次是鲁肃,司马师,诸葛亮,刘备,曹操,魏延,姜维,徐庶,司马昭,陆逊

相似值依次是 0.7735408527877448,1.0708763430514607,1.113466...

result

生成excel文件，方便观看

result.to_excel("相似计算结果.xlsx", index=True)

最后，推荐蚂蚁老师的Pandas数据分析课程

课程名：《Python使用Pandas入门数据分析》

部分大纲：

扫码购买：

购买课程后，加我vx：ant_learn_python，拉付费VIP群

点击《阅读原文》，也可以到达课程页面。