使用内置的 Pandas 方法进行高级数据处理和字符串操作

Pandas 库被广泛用作数据处理和分析工具，用于从数据中清理和提取特征。

在处理数据时，编辑或删除某些数据作为预处理步骤的一部分。 这可能涉及从现有列创建新列，或修改现有列以使它们适合更易于使用。 为此，Pandas 提供了多种方法，您可以使用这些方法来处理 DataFrame 中所有数据类型的列。

在这篇文章中，让我们具体看看在 DataFrame 中的列中替换值和子字符串。 当您想替换列中的每个值或只想编辑值的一部分时，这会派上用场。

如果您想继续，请在此处下载数据集并加载下面的代码。

import pandas as pd
df = pd.read_csv('WordsByCharacter.csv')

使用“替换”来编辑 Pandas DataFrame 系列（列）中的字符串

Pandas 中的 replace 方法允许您在 DataFrame 中的指定系列中搜索值，以查找随后可以更改的值或子字符串。 首先，让我们快速看一下如何通过将“Of The”更改为“of the”来对表中的“Film”列进行简单更改。

# change "Of The" to "of the" - simple regex
df["Film"].replace("Of The", "of the")  # won't work if you do this
df["Film"].replace("Of The", "of the", regex=True)

上面，我们所做的只是将我们正在寻找的子字符串作为第一个参数传递给 replace 方法，然后将我们想要替换的值作为第二个参数传递。 您会看到我们还必须传递 regex=True 才能使操作生效。 否则，replace 方法只会更改“Of The”的列值，因为它只会匹配整个值。

您可以通过匹配确切的字符串并提供您想要更改的整个值来完成我们上面所做的相同的事情，如下所示。

df["Film"].replace("The Fellowship Of The Ring", "The Fellowship of the Ring")

这种方法的问题在于您、必须逐案匹配值。 也就是说，需要传递想要更改的每个值，以及希望将其更改为什么值。 在某些情况下，使用查找和替换与定义的正则表达式匹配的所有内容可能更容易。

但是，在想要将不同的值更改为不同的替换值的情况下，不必多次调用 replace 方法。 相反，可以简单地传递一个字典，其中键是要搜索的列值，而值是要替换原始值的内容。 下面是一个简单的例子。

# you can do multiple replacements in within one call of the replace method by creating a mapping dictionary
# very scalable woo
replacement_mapping_dict = {
    "The Fellowship Of The Ring": "The Fellowship of the Ring",
    "The Return Of The King": "The Return of the King"
}
df["Film"].replace(replacement_mapping_dict)

之前，我们只是简单地传递 regex=True 以便我们可以匹配子字符串。 让我们更进一步，实际编写一些正则表达式来匹配。 让我们做一些数据清理，并在 replace 方法中使用正则表达式删除这些数据。

# remove number number colon from "Chapter" - bit more complex regex example
# regex is just <= 3 repetitions of any numeric character (0-9) immediately followed by a colon and a space
df["Chapter"].replace(r"\d{,3}: ", "", regex=True)

我们所做的只是传递 r"\d{,3}: " 来匹配三个或更少的数字字符后跟一个冒号和一个空格（这将捕获“01:”、“02:”、…、“100 ： “， 等等）。 每当在列值中找到它时，它就会从字符串中删除，因为我们传递的第二个参数是一个空字符串。

或者，如果您不想每次调用 replace 方法时都传递 regex=True，则可以改为完成上述相同的结果，如下所示：

# alternate way of doing the same thing (instead of having to pass regex=True at the end)
# if you had multiple things you want to replace you can put them all in a list
regex_list = [r"\d{,3}: ", r"The "]
df["Chapter"].replace(regex=regex_list, value="")

结果与之前相同，但有一些差异使此方法更加清晰。 首先，如果有多个想要匹配的正则表达式，可以在列表中定义它们，并将其作为关键字参数传递给 replace 方法。 然后，只需要显式传递另一个关键字参数值来定义想要的替换值。 这样如果有人查看的代码可能会很容易理解它的作用并对其进行扩展。

在清理数据时，这是一个相当常见的过程，所以我希望您发现这篇对 Pandas 替换方法的快速介绍对自己的工作有用。

祝你的数据之旅好运！

作者：Byron Dolon

一、构造dataframe

import pandas as pd
import numpy as np
df=pd.DataFrame(np.arange(16).reshape(4,4),columns=["sh","bj","sz","gz"],index=["one","two","three","four"])
df.iloc[0,1]=np.nan

二、替换指定数据（fillna、isin、replace)

1、用"sz"列的同行数据将"bj"列的空值替换掉

df["bj"].fillna(df["sz"],inplace=True)

2、在1的基础上，将"sz"列为2或者6的数据替换成-4
法一:直接替换

df.loc[df["sz"].isin([2,6]),"sz"]=-4

法二：函数replace()替换

df.replace({"sz":{2:-4,6:-4}},inplace=True)

三、替换函数replace()详解

原dataframe如下：

1、全局替换元素
1)替换单个元素

df.replace(-4,0)#将所有的-4元素替换为0，返回dataframe

2）替换多个元素
法一：在字典中指定

df.replace({-4:0,4:1})#将-4替换为0，4替换为1

法二：在列表中指定

df.replace([-4,4],[0,1])#将-4替换为0，4替换为1

其中法二在列表中指定的方式，如果多个元素替换为相同的值，会更方便。

df.replace([-4,4],1)#将-4和4替换为1

2、通过指定条件替换元素

df.replace({"bj":{5:10,9:50},"gz":{7:10}})#将"bj"列的5替换为10，9替换为50，将gz列的7替换为10

也可通过直接索引列的方式来替换指定列的元素

df["bj"].replace({5:10,9:50})#将"bj"列的5替换为10，9替换为50

3、通过模糊条件替换指定元素

法一：通过字符串方法替换 str.replace()

df["bj"]=df["bj"].str.replace("北","南").fillna(df["bj"])#将"bj"列中的"北"字替换成"南"字,若无"北"值，则不替换

法二：通过正则匹配替换

df.replace("(.*)北(.*)","南京",regex=True)#将"bj"列中的含有"北"字的元素替换成"南京"

最后，如果需要在原始数据上完成替换，可以通过设置参数inplace=True。

参考链接：
https://blog.csdn.net/qq_18351157/article/details/107141339

第一种方法：一行代码搞定

def fillna_demo():
  # 填充空值
  df1 = pd.DataFrame({
    '电梯编号': ['a', 'b', 'c', 'd', 'e'],
    'key2': ['one', 'two', 'one', 'two', 'three'],
    '本月实缴金额': [2, 2, 2, 2, 2],
    'data2': [5, 5, 5, np.nan, 5],
    'data3': [5.01, 5.01, np.nan, 10.23, 5.01]
  })
  print(df1)
  # 只能单列替换
  # df1["data2"].fillna("100", inplace=True)
  # 多列替换
  # df1[["data2", "data3"]] = df1[["data2", "data3"]].replace(np.nan, 0)
  df1[["data2", "data3"]] = df1[["data2", "data3"]].fillna(0)
  print(df1)

第二种方法：比较繁琐

  fill_fields = ["S_LAST_UPDATETIME", "CJSJ", "GXSJ", "GSLDSJ", "ZFSJ", "QYBDRQ", "FXBGRQ", "BJSJ", "PDSJ", "YQTS"]
  for field in list(set(fill_fields).intersection(set(df.keys()))):
    df[field].fillna("1970-01-02 00:00:00", inplace=True)

第三种方法：全局替换

df.fillna('0', inplace=True)