使用tensorflow做聊天机器人时，处理数据时遇到一个问题，需要统计常用汉字，这样就需要读取中文字符串中的单个汉字并进行统计。而适用于英文字符串的方法并不适用于中文字符串，因此需要通过下述的方法来读取中文字符串中的单个汉字字符。



s = '今天天气非常好hhh'
for i in s.decode('utf-8'):
    print i, 
#结果：
# 今 天 天 气 非 常 好 h h h

如果定义字符串时标明为unicode格式，则更简单。

s = u'今天天气非常好hhh'
for i in s:
    print i, 
# 结果同上

Pandas字符串处理


Series.str字符串方法列表参考文档
文章目录
Pandas字符串处理
读取数据
获取Series的str属性，使用各种字符串处理函数
使用str的startswith、contains等得到bool的Series可以做条件查询
需要多次str处理的链式操作
使用正则表达式的处理


Pandas的字符串处理：


使用方法：先获取Series的str属性，然后在属性上调用函数；
只能在字符串列上使用，不能数字列上使用；
Dataframe上没有str属性和处理方法
Series.str并不是Python原生字符串，而是自己的一套方法，不过大部分和原生str很相似；

本节演示内容：

获取Series的str属性，然后使用各种字符串处理函数
使用str的startswith、contains等bool类Series可以做条件查询
需要多次str处理的链式操作
使用正则表达式的处理

读取数据
import pandas as pd


df = pd.read_csv("data.xlsx")
df.head()




  

    

      

      
ymd
      
bWendu
      
yWendu
      
tianqi
      
fengxiang
      
fengli
      
aqi
      
aqiInfo
      
aqiLevel
    
  
  

    

      
0
      
2018-01-01
      
3℃
      
-6℃
      
晴~多云
      
东北风
      
1-2级
      
59
      
良
      
2
    
    

      
1
      
2018-01-02
      
2℃
      
-5℃
      
阴~多云
      
东北风
      
1-2级
      
49
      
优
      
1
    
    

      
2
      
2018-01-03
      
2℃
      
-5℃
      
多云
      
北风
      
1-2级
      
28
      
优
      
1
    
    

      
3
      
2018-01-04
      
0℃
      
-8℃
      
阴
      
东北风
      
1-2级
      
28
      
优
      
1
    
    

      
4
      
2018-01-05
      
3℃
      
-6℃
      
多云~晴
      
西北风
      
1-2级
      
50
      
优
      
1
    
  


df.dtypes

ymd          object
bWendu       object
yWendu       object
tianqi       object
fengxiang    object
fengli       object
aqi           int64
aqiInfo      object
aqiLevel      int64
dtype: object

获取Series的str属性，使用各种字符串处理函数
df["bWendu"].str

<pandas.core.strings.StringMethods at 0x1af21871808>

# 字符串替换函数
df["bWendu"].str.replace("℃", "")

0       3
1       2
2       2
3       0
4       3
       ..
360    -5
361    -3
362    -3
363    -2
364    -2
Name: bWendu, Length: 365, dtype: object

# 判断是不是数字
df["bWendu"].str.isnumeric()

0      False
1      False
2      False
3      False
4      False
       ...  
360    False
361    False
362    False
363    False
364    False
Name: bWendu, Length: 365, dtype: bool

df["aqi"].str.len()

使用str的startswith、contains等得到bool的Series可以做条件查询
condition = df["ymd"].str.startswith("2018-03")

condition

0      False
1      False
2      False
3      False
4      False
       ...  
360    False
361    False
362    False
363    False
364    False
Name: ymd, Length: 365, dtype: bool

df[condition].head()




  

    

      

      
ymd
      
bWendu
      
yWendu
      
tianqi
      
fengxiang
      
fengli
      
aqi
      
aqiInfo
      
aqiLevel
    
  
  

    

      
59
      
2018-03-01
      
8℃
      
-3℃
      
多云
      
西南风
      
1-2级
      
46
      
优
      
1
    
    

      
60
      
2018-03-02
      
9℃
      
-1℃
      
晴~多云
      
北风
      
1-2级
      
95
      
良
      
2
    
    

      
61
      
2018-03-03
      
13℃
      
3℃
      
多云~阴
      
北风
      
1-2级
      
214
      
重度污染
      
5
    
    

      
62
      
2018-03-04
      
7℃
      
-2℃
      
阴~多云
      
东南风
      
1-2级
      
144
      
轻度污染
      
3
    
    

      
63
      
2018-03-05
      
8℃
      
-3℃
      
晴
      
南风
      
1-2级
      
94
      
良
      
2
    
  


需要多次str处理的链式操作
怎样提取201803这样的数字月份？

1、先将日期2018-03-31替换成20180331的形式

2、提取月份字符串201803
df["ymd"].str.replace("-", "")

0      20180101
1      20180102
2      20180103
3      20180104
4      20180105
         ...   
360    20181227
361    20181228
362    20181229
363    20181230
364    20181231
Name: ymd, Length: 365, dtype: object

# 每次调用函数，都返回一个新Series
df["ymd"].str.replace("-", "").slice(0, 6)

使用正则表达式的处理
# 添加新列
def get_nianyueri(x):
    year,month,day = x["ymd"].split("-")
    return f"{year}年{month}月{day}日"
df["中文日期"] = df.apply(get_nianyueri, axis=1)

df["中文日期"]

0      2018年01月01日
1      2018年01月02日
2      2018年01月03日
3      2018年01月04日
4      2018年01月05日
          ...     
360    2018年12月27日
361    2018年12月28日
362    2018年12月29日
363    2018年12月30日
364    2018年12月31日
Name: 中文日期, Length: 365, dtype: object

问题：怎样将“2018年12月31日”中的年、月、日三个中文字符去除？
# 方法1：链式replace
df["中文日期"].str.replace("年", "").str.replace("月","").str.replace("日", "")

0      20180101
1      20180102
2      20180103
3      20180104
4      20180105
         ...   
360    20181227
361    20181228
362    20181229
363    20181230
364    20181231
Name: 中文日期, Length: 365, dtype: object

Series.str默认就开启了正则表达式模式
# 方法2：正则表达式替换
df["中文日期"].str.replace("[年月日]", "")

0      20180101
1      20180102
2      20180103
3      20180104
4      20180105
         ...   
360    20181227
361    20181228
362    20181229
363    20181230
364    20181231
Name: 中文日期, Length: 365, dtype: object

[C语言]字符串处理 - 以指定的字符串分割字符串(支持中文字符)


 函数StringSplit(分割字符串到一个字符串数组中，其中该数组第0位为分割后字符串的个数)

 函数StringSplit_Struct(以定义一个新结构的方式来实现该函数)
/*C代码如下*/

#include <stdio.h>


/*实现方案1*/

/*分割字符串到一个字符串数组中，其中该数组第一位为分割后的个数*/

char** StringSplit(const char* string,const char* split)

{

      char** result;

      /*首先分配一个char*的内存，然后再动态分配剩下的内存*/

      result = (char * * )malloc(sizeof(char *)*1);

      memset(result,0,sizeof(char *)*1);

      /*定义一个遍历用的指针和一个寻找位置用的指针*/

      char* p = string;

      char* pos = string;

      /*无论是否存在该分割串，绝对都会分割到一个字符串*/

      int count = 1;

      while(*p != '\0')

      {

          char* temp;

          char* tt;

          /*查找该字符串*/

          pos = strstr(p,split);

          /*结果为0说明剩下的字符串中没有该字符了*/

          if(pos == 0)

          {

            result = (char * * )realloc(result,sizeof(char *)*(count+2));

            result[0] = count;

            result[count] = p;

            result[count+1] = NULL;

            return result;

          }

          /*分配临时字符串空间*/

          temp = (char * )malloc(sizeof(char)*(pos - p+1));

          memset(temp,0,sizeof(char)*(pos - p+1));

          /*设置头指针，以便赋值时使用*/

          tt = temp;

          while(p<=pos)

          {

            *temp++ = *p++;

          }

          /*将字符串结尾置零*/

          *--temp = '\0';

          result = (char * * )realloc(result,sizeof(char *)*(count+1));

          result[0] = count;

          result[count] = tt;

          count++;

          /*设置下一次遍历时的指针（重要）。当split长度大于1时，不这样设置会多赋值不必要的字符串*/

          p +=strlen(split)-1;

      }

      return result;

}

/*实现方案2*/

/*为方便计数定义的结构，字符串数组从0开始赋值*/

typedef struct{

      int number;         /*分割的字符串个数*/

      char** string;         /*字符串数组*/

}StringTab;

/*分割字符串到一个字符串数组中*/

StringTab StringSplit_Struct(const char* string,const char* split)

{

      StringTab result;

      /*首先分配一个char*的内存，然后再动态分配剩下的内存*/

      result.string = (char * * )malloc(sizeof(char *)*1);

      memset(result.string,0,sizeof(char *)*1);

      /*无论是否存在该分割串，绝对都会分割到一个字符串*/

      result.number = 0;

      /*定义一个遍历用的指针和一个寻找位置用的指针*/

      char* p = string;

      char* pos = string;

      while(*p != '\0')

      {

         char* temp;

         char* tt;

         /*查找该字符串*/

         pos = strstr(p,split);

         /*结果为0说明剩下的字符串中没有该字符了*/

         if(pos == 0)

         {

           result.string = (char * * )realloc(result.string,sizeof(char *)*(result.number+1));

           result.string[result.number] = p;

           return result;

         }

         /*分配临时字符串空间*/

         temp = (char * )malloc(sizeof(char)*(pos - p+1));

         memset(temp,0,sizeof(char)*(pos - p+1));

         /*设置头指针，以便赋值时使用*/

         tt = temp;

         while(p<=pos)

         {

           *temp++ = *p++;

         }

         /*将字符串结尾置零*/

         *--temp = '\0';

         result.string = (char * * )realloc(result.string,sizeof(char *)*(result.number+1));

         result.string[result.number] = tt;

         /*计数器加一*/

         result.number++;

         /*设置下一次遍历时的指针（重要）。当split长度大于1时，不这样设置会多赋值不必要的字符串*/

         p +=strlen(split)-1;

      }

      return result;

}


int main()

{

      /*进行测试*/

      /*方案1测试*/

      char** array;

      array = StringSplit("a/aaa//哈aa","aaa");

      int i ;

      for(i=1;i<=(int)array[0];i++)

      {

          printf("Num:%d I:%d: Value: %s\n",array[0],i,array[i]);

      }

     

      array = StringSplit("a/aa哈a//哈aa","哈");

      for(i=1;i<=(int)array[0];i++)

      {

          printf("Num:%d I:%d: Value: %s\n",array[0],i,array[i]);

      }


      /*方案2测试*/

      StringTab array2;

      array2 = StringSplit_Struct("a/aaa//哈aa","aaa");

      for(i=0;i<=array2.number;i++)

      {

         printf("Num:%d I:%d: Value: %s\n",array2.number,i,array2.string[i]);

      }

      array2 = StringSplit_Struct("a/aa哈a//哈aa","哈");

      for(i=0;i<=array2.number;i++)

      {

         printf("Num:%d I:%d: Value: %s\n",array2.number,i,array2.string[i]);

      }


      return 0;

}
 
http://hi.baidu.com/nivrrex/item/8f0c8f175a9ce5721009b5a1

根据帖子：
http://bbs.csdn.net/topics/390598291里的要求：





C/C++ code


?


1

2




char *str = "青年杂志(上半年)";

                  char str[] = "青年杂志(上半年)";






如上两种，怎么才能把字符串中字符一个一个显示出来？



程序实现如下：

int main()
{
	char *str = "青年杂志(上半年)";
	char str1[] = "一份耕耘一份收获";
	int nLen = strlen(str);
	char Temp[4];

	for (int i=0; i<nLen; i=i+2)
	{
		memcpy(Temp, str+i, 2);
		Temp[2]='\0';

		cout << Temp;
	}
	cout << endl;

	for (int j=0; j<nLen; j=j+2)
	{
		memcpy(Temp, str1+j, 2);
		Temp[2]='\0';
		
		cout << Temp;
	}

	cout << endl;


	cout << str << "," << str1 << endl;
	
	return 0;
}



测试结果：
青年杂志(上半年)

一份耕耘一份收获

青年杂志(上半年),一份耕耘一份收获



逐个算法还有待于完善，比如中英混合了逐个怎么打印出来呢。待wujunokay后续实现。


转载请注明原创链接：http://blog.csdn.net/wujunokay/article/details/11954917