pandas取excel去除重复行(pandas中concat去掉重复列)

1. pandas中concat去掉重复列

1、pandas的连接函数concat()函数

concat函数是在pandas底下的方法，可以将数据根据不同的轴作简单的融合，用作合并和多组数据合并

2、使用方法

pd.concat( [df数据1， df数据2， …… ], axis = 0或1， join = 连接方式， keys = 表明数据来源 )

1

3、使用参数

objs: series，dataframe或者是panel构成的序列lsit

axis： 需要合并链接的轴，0是行，1是列

join：连接的方式 inner，或者outer

4、返回值

object, type of objs

2. pandas如何去重

1、大熊猫体型肥硕似熊、丰腴富态，头圆尾短，头躯长1.2-1.8米，尾长10-12厘米。体重80-120千克，最重可达180千克，饲养的熊猫略重，一般雄性个体稍大于雌性。头部和身体毛色黑白相间分明，但黑非纯黑，白也不是纯白，而是黑中透褐，白中带黄。秦岭地区的个体偏大，体毛粗糙，腹毛略呈棕色色泽。岷山（尤以青川平武）则个体较小，体毛也较前者为细，腹毛棕色不明显，但凉山的个体并不偏小。黑白相间的外表，有利于隐蔽在密林的树上和积雪的地面而不易被天敌发现。相对锋利的爪和发达有力的前后肢，有利于大熊猫能快速爬上高大的乔木。

2、大熊猫皮肤厚，最厚处可达10毫米。身体不同部分的皮肤厚度也不一样，体背部厚于腹侧，体外侧厚于体内侧，皮肤的平均厚度约为5毫米，并且色白而富有弹性和韧性。

3、大熊猫的视觉极不发达。这是由于大熊猫长期生活于密密的竹林里，光线很暗，障碍物又多，致使其目光变得十分短浅。此外由于它的瞳孔像猫一样是纵裂的。因此，当夜幕降临的傍晚，它们还能活动。

4、大熊猫栖于中国长江上游的高山深谷，为东南季风的迎风面，气候温凉潮湿，其湿度常在80%以上，它们是一种喜湿性动物。大熊猫生活的6块狭长地带，包括岷山、邛崃山、凉山、大相岭、小相岭及秦岭等几大山系，横跨川、陕、甘3省的45个县（市），栖息地面积达20000平方公里以上，种群数量约1600只，其中80%以上分布于四川境内。它们活动的区域多在坳沟、山腹洼地、河谷阶地等，一般在20°以下的缓坡地形。这些地方森林茂盛，竹类生长良好，气温相对较为稳定，隐蔽条件良好，食物资源和水源都很丰富。

3. pandas如何去重复数据

只能用索引切片的方式 如根据索引对data进行删除重复行，并保留第一个数据： data_unique = data[~data.index.duplicated()]

4. pandas重复值处理

res = df1.values.ravel() == df2.values.ravel()将两个df的values展开成行向量，再比较。

res返回的结果，如果是完全相同，res里面全部是True，如果有不相同的值，就会有False。再根据展开后的位置找到原来对应的位置就可以找到不相同的值的位置了。

5. pandas删除重复保留第一个

重点是不要重复写和重复读，这样会浪费大量时间，可以读取一次放入内存，因为内存读写速度远大于磁盘速度