精华内容
下载资源
问答
  • 本文实例讲述了js正则匹配中文标点符号方法。分享给大家供大家参考,具体如下: 运行效果截图如下: 具体代码如下: <html> <head> <meta http-equiv="content-type" content="text/html;charset...
  • 主要介绍了php过滤英文标点符号及过滤中文标点符号方法,需要的朋友可以参考下
  • Java 判断中文及标点符号

    千次阅读 2020-04-26 10:40:00
    Java Character 实现Unicode字符集介绍 CJK中文字符和中文标点判断。此外,该类提供了用于确定字符的分类的几种方法(小写字母,数字,等)和由大写转换为小写字符,反之亦然。 Unicode中文范围参考文章:...

           开发中需要判断某个字符或者字符串是中文还是英文,从而做相应的处理,大多数会用到正则来判断的,其实也可以使用 Java 来判断。

    Java Character 实现Unicode字符集介绍  CJK中文字符和中文标点等判断。此外,该类提供了用于确定字符的分类的几种方法(小写字母,数字,等)和由大写转换为小写字符,反之亦然。

        Unicode中文范围参考文章:http://www.iteye.com/topic/558050

    汉字:[0x4e00,0x9fa5](或十进制[19968,40869])

    数字:[0x30,0x39](或十进制[48, 57])

    小写字母:[0x61,0x7a](或十进制[97, 122])

    大写字母:[0x41,0x5a](或十进制[65, 90])

    在Java中,主要使用 Character类处理字符有关功能,Character 类中有3个静态内部类:

    UnicodeBlock 与 UnicodeScript 关系:

    1、UnicodeScript实现是在Java 7中新引入,UnicodeScript 是从语言书写规则层次对Unicode字符的分类,

    2.、在一个 UnicodeScript中的字符可能分散在多个UnicodeBlock中;

    3.、一个 UnicodeBlock中的字符可能会被划进多个UnicodeScript中。

    中文的标点符号主要存在于以下5个UnicodeBlock中:

    • U2000-General Punctuation (百分号,千分号,单引号,双引号等)
    • U3000-CJK Symbols and Punctuation ( 顿号,句号,书名号,〸,〹,〺 等;PS: 后面三个字符你知道什么意思吗? : )    )
    • UFF00-Halfwidth and Fullwidth Forms ( 大于,小于,等于,括号,感叹号,加,减,冒号,分号等等)
    • UFE30-CJK Compatibility Forms  (主要是给竖写方式使用的括号,以及间断线﹉,波浪线﹌等)
    • UFE10-Vertical Forms (主要是一些竖着写的标点符号,    等等)

    编写的工具类和测试代码如下:

    import java.util.regex.Pattern;
    
    /**
     * @Description: 判断中文(汉字和标点符号)与英文工具类
     * @Date: 2020-04-24 15:43
     * @Version: V1.0
     */
    public class ChineseAndEnglishUtils {
        private ChineseAndEnglishUtils() {
        }
    
        /**
         * 使用UnicodeBlock方法判断是否存在中文(包括汉字, 标点符号判断)
         *
         * @param str
         * @return true-存在,false-不存在
         */
        public static boolean checkChinesePunctuationByScript(String str) {
            if (str == null) {
                return false;
            }
            char[] chars = str.toCharArray();
            for (char aChar : chars) {
                if (isChineseByScript(aChar)) {
                    return true;
                }
            }
            return false;
        }
    
        /**
         * 使用UnicodeScript方法判断是否存在中文(包括汉字, 标点符号判断)
         *
         * @param str
         * @return true-存在,false-不存在
         */
        public static boolean checkChinesePunctuationByBlock(String str) {
            if (str == null) {
                return false;
            }
            char[] chars = str.toCharArray();
            for (char aChar : chars) {
                if (isChineseByBlock(aChar)) {
                    return true;
                }
            }
            return false;
        }
    
        /**
         * 使用Unicode编码范围来判断是否存在汉字, 标点符号不做判断
         *
         * @param str
         * @return true-存在,false-不存在
         */
        public static boolean checkChineseByUnicodeRange(String str) {
            if (str == null) {
                return false;
            }
            String regEx = "[\\u4e00-\\u9fa5]+";
            Pattern pattern = Pattern.compile(regEx);
            return pattern.matcher(str.trim()).find();
        }
    
        /**
         * 使用UnicodeBlock方法判断是否存在汉字, 标点符号不做判断
         *
         * @param c
         * @return true-存在,false-不存在
         */
        public static boolean isChineseByBlock(char c) {
            Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
            if (ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS
                    || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A
                    || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B
                    || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C
                    || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D
                    || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS
                    || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) {
                return true;
            } else {
                return false;
            }
        }
    
        /**
         * 使用UnicodeScript方法判断是否存在汉字, 标点符号不做判断
         *
         * @param c
         * @return true-存在,false-不存在
         */
        public static boolean isChineseByScript(char c) {
            Character.UnicodeScript sc = Character.UnicodeScript.of(c);
            if (sc == Character.UnicodeScript.HAN) {
                return true;
            }
            return false;
        }
    
        /**
         * 根据UnicodeBlock方法判断中文标点符号
         *
         * @param c
         * @return true-存在,false-不存在
         */
        public static boolean isChinesePunctuation(char c) {
            Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
            if (ub == Character.UnicodeBlock.GENERAL_PUNCTUATION
                    || ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION
                    || ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
                    || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS
                    || ub == Character.UnicodeBlock.VERTICAL_FORMS) {
                return true;
            } else {
                return false;
            }
        }
    
    
        public static void main(String[] args) {
            System.out.println("=====使用Unicode编码范围来判断是否存在汉字, 标点符号不做判断======");
            System.out.println("abc中国,.d==" + checkChineseByUnicodeRange("abc中国,.d"));
            System.out.println("abc中d==" + checkChineseByUnicodeRange("abc中d"));
            System.out.println("abc,.d==" + checkChineseByUnicodeRange("abc,.d"));
    
            System.out.println("=====使用UnicodeBlock方法判断是否存在中文(包括汉字, 标点符号判断)=====");
            System.out.println("abc中国,.d==" + checkChinesePunctuationByBlock("abc中国,.d"));
            System.out.println("abc中d==" + checkChinesePunctuationByBlock("abc中d"));
            System.out.println("abc,.d==" + checkChinesePunctuationByBlock("abc,.d"));
    
            System.out.println("=====使用UnicodeScript方法判断是否存在中文(包括汉字, 标点符号判断)=====");
            System.out.println("abc中国,.d==" + checkChinesePunctuationByScript("abc中国,.d"));
            System.out.println("abc中d==" + checkChinesePunctuationByScript("abc中d"));
            System.out.println("abc,.d==" + checkChinesePunctuationByScript("abc,.d"));
    
            System.out.println("=====根据UnicodeBlock方法判断中文标点符号=====");
            System.out.println(".==" + isChinesePunctuation('.'));
            System.out.println("。==" + isChinesePunctuation('。'));
        }
    
    }
    

         

    ends~

    展开全文
  • 今天小编就为大家分享一篇python过滤中英文标点符号的实例代码,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 需求:去掉js字符串末尾的标点符号 原字符串: Hello World! 目标字符串: Hello World 方式一: stringObject.slice(start,end) start : 要抽取的片断的起始下标。如果是负数,则该参数规定的是从字符串的尾部开始...
  • java判断标点符号问题

    万次阅读 2016-11-23 10:00:58
    原文地址:...   方法一:  写正则表达式 Pattern patPunc =  Pattern.compile("[`~!...如果要判断字符串最后一个字符是否为标点符号则可以在最后加上$符号: Pattern patPunc =  Patte

    原文地址:http://www.xuebuyuan.com/1911739.html

     

    方法一:

     写正则表达式
    Pattern patPunc =
        Pattern.compile("[`~!@#$^&*()=|{}':;',\\[\\].<>/?~!@#¥……&*()——|{}【】‘;:”“'。,、?]");
     
    如果要判断字符串最后一个字符是否为标点符号则可以在最后加上$符号:
    Pattern patPunc =
        Pattern.compile("[`~!@#$^&*()=|{}':;',\\[\\].<>/?~!@#¥……&*()——|{}【】‘;:”“'。,、?]$");
     
            Pattern patPunc = Pattern.compile("[`~!@#$^&*()=|{}':;',\\[\\].<>/?~!@#¥……&*()——|{}【】‘;:”“'。,、?]$");
            
            String str = "同!意";
            
            Matcher matcher = patPunc.matcher(str);
            
            System.out.println(matcher.find()); // false
     
            Pattern patPunc = Pattern.compile("[`~!@#$^&*()=|{}':;',\\[\\].<>/?~!@#¥……&*()——|{}【】‘;:”“'。,、?]$");
            
            String str = "同意!";
            
            Matcher matcher = patPunc.matcher(str);
            
            System.out.println(matcher.find()); // true
     
     
    方法二: 
    str = str.replaceAll("[\\pP‘’“”]", ""); 
    Unicode 编码并不只是为某个字符简单定义了一个编码,而且还将其进行了归类。  
    \pP 其中的小写 p 是 property 的意思,表示 Unicode 属性,用于 Unicode 正表达式的前缀。 
    大写 P 表示 Unicode 字符集七个字符属性之一:标点字符。 

    其他六个是 
    L:字母; 
    M:标记符号(一般不会单独出现); 
    Z:分隔符(比如空格、换行等); 
    S:符号(比如数学符号、货币符号等); 
    N:数字(比如阿拉伯数字、罗马数字等); 
    C:其他字符 

    上面这七个是属性,七个属性下还有若干个子属性,用于更进一步地进行细分。 
    Java 中用于 Unicode 的正则表达式数据都是由 Unicode 组织提供的。 
    Unicode 正则表达式标准(可以找到所有的子属性) 
    http://www.unicode.org/reports/tr18/ 
    各 Unicode 字符属性的定义,可以用一看看某个字符具有什么属性。 
    http://www.unicode.org/Public/UNIDATA/UnicodeData.txt 
    这个文本文档一行是一个字符,第一列是 Unicode 编码,第二列是字符名,第三列是 Unicode 属性, 
    以及其他一些字符信息。
    展开全文
  • C++实现字符串中取出标点符号,得到不带符号的字符串
  • Java Character 实现Unicode字符集介绍 CJK中文字符和中文标点判断 ...3. 如何判断汉字及中文标点符号   做中文信息处理,经常会遇到如何判断一个字是否是中文,或者是否是中文的标点符号等。 在Java中,主要使...

    Java Character 实现Unicode字符集介绍  CJK中文字符和中文标点判断

    主要内容:

    1. Java Character类介绍;

    2. Unicode 简介及 UnicodeBlock 与 UnicodeScript区别和联系

    3. 如何判断汉字及中文标点符号

     

    做中文信息处理,经常会遇到如何判断一个字是否是中文,或者是否是中文的标点符号等。

    在Java中,主要使用 Character类处理字符有关功能,而JDK 1.7中Character是按照Unicode 6.0版本实现的,所以这个要先学习下常用的 Unicode编码。

    具体的定义、历史等请见 wikiwikipedia

    Character 类中有3个静态内部类,

    Modifier and Typehttp://http://www.cnblogs.com/zztt/admin/EditPosts.aspx?opt=1www.cnblogs.com/zztt/admin/EditPosts.aspx?opt=1Class and Description
    static class Character.Subset

    Instances of this class represent particular subsets of the Unicode character set.

    static class Character.UnicodeBlock

    A family of character subsets representing the character blocks in the Unicode specification.

    static class Character.UnicodeScript

    A family of character subsets representing the character scripts defined in the Unicode Standard Annex #24: Script Names.

     

    其中的UnicodeBlock 和 UnicodeScript类可以帮助我们判断字符类型,

    UnicodeBlock是Unicode标准协会组织unicode码的一个基本单位,实际上一个 UnicodeBlock代表一片连续的Unicode号码段,UnicodeBlock之间不重叠。例如,通常我们利用Unicode编码是否在 0x4E00–0x9FCC 来判断某字符是否为汉字,就是因为,有个UnicodeBlock 专门划分为存储汉字 (准确的说是 CJK统一汉字),这个UnicodeBlock叫做 CJK Unified Ideographs,总共定义了 74,617 个汉字。

    当然还有其他很多UnicodeBlock,例如,对于汉字还有4个扩展 UnicodeBlock,CJK Unified Ideographs Extension A, B, C, D 分别都扩展了一些我们平时见都没见过的汉字(如果不是专门的古籍数字化,Unicode字符集中的汉字普通交流够了)

     

    Unicode中一种Script通常就是一个字符或者其他书写符号的集合,代表着一种或多种writing systems (这里暂且翻译为文书类型,文书类型细分可以分成不同语言)。有些Script仅支持一种文字类型,有些可以支持多种,例如 Latin Script 支持 supports EnglishFrenchGermanItalianVietnameseLatin 等等,具体可见wikipedia,

    http://en.wikipedia.org/wiki/Scripts_in_Unicode

     

    UnicodeBlock 与 UnicodeScript 关系:

    所以UnicodeScript 是从语言书写规则层次对Unicode字符的分类,这是用使用角度划分,而UnicodeBlock是从硬的编码角度划分。

    1. UnicodeBlock是简单的数值范围 (其中可能有些Block中会有一些尚未分配字符的“空号”)。

    2. 在一个UnicodeScript中的字符可能分散在多个UnicodeBlock中;

    3. 一个UnicodeBlock中的字符可能会被划进多个UnicodeScript中。

     

    另外需要注意的是UnicodeScript实现是在Java 7中新引入的。

     

    具体在编写程序中,可以游2种办法,一是使用 UnicodeBlock,请见代码:

    复制代码

        //使用UnicodeBlock方法判断
        public boolean isChineseByBlock(char c) {
            Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
            if (ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS
                    || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A
                    || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B
                    || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C
                    || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D
                    || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS
                    || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) {
                return true;
            } else {
                return false;
            }
        }

    复制代码

     

    或者如果使用JDK1.7,那么UnicodeScript方法会更方便,因为UnicodeScript.HAN 包括了上面所列的5个UnicodeBlock:

    复制代码

        //使用UnicodeScript方法判断
        public boolean isChineseByScript(char c) {
            Character.UnicodeScript sc = Character.UnicodeScript.of(c);
            if (sc == Character.UnicodeScript.HAN) {
                return true;
            }
            return false;
        }

    复制代码

     

     

    类似的,扩展开去还可以判别中文标点符号。

    因为中文的标点符号主要存在于以下5个UnicodeBlock中,

    U2000-General Punctuation (百分号,千分号,单引号,双引号等)

    U3000-CJK Symbols and Punctuation ( 顿号,句号,书名号,〸,〹,〺 等;PS: 后面三个字符你知道什么意思吗? : )    )

    UFF00-Halfwidth and Fullwidth Forms ( 大于,小于,等于,括号,感叹号,加,减,冒号,分号等等)

    UFE30-CJK Compatibility Forms  (主要是给竖写方式使用的括号,以及间断线﹉,波浪线﹌等)

    UFE10-Vertical Forms (主要是一些竖着写的标点符号,    等等)

    复制代码

        // 根据UnicodeBlock方法判断中文标点符号
        public boolean isChinesePunctuation(char c) {
            Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
            if (ub == Character.UnicodeBlock.GENERAL_PUNCTUATION
                    || ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION
                    || ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
                    || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS
                    || ub == Character.UnicodeBlock.VERTICAL_FORMS) {
                return true;
            } else {
                return false;
            }
        }

    复制代码

     

    最后上测试代码:

    复制代码

    import java.util.regex.Pattern;
    
    /**
     * author: Tong
     * Date: 11/16/13
     * Time: 10:42 PM
     */
    public class CharClassifier {
    
        public static void main(String[] args) {
            CharClassifier classifier = new CharClassifier();
            String[] strings = new String[]{"Hello", "你好", "㐀㐂㐄", "にほんご", "조선어",",.?!@#$%^&()", ",。?!@#¥%……&()"};
    
            for (int i = 0; i < strings.length; i++) {
                String str = strings[i];
                System.out.println("原字符串为:" + str);
                char[] chars = str.toCharArray();
    
                if (i < 5) {
                    System.out.println("使用0x4E00-0x9FCC范围判断字符是否为汉字:");
                    for (char aChar : chars) {
                        System.out.println(aChar + ":" + (classifier.isChineseByRange(String.valueOf(aChar)) ? "YES" : "NO"));
                    }
    
                    System.out.println("使用UnicodeBlock方法判断字符是否为汉字:");
                    for (char aChar : chars) {
                        System.out.println(aChar + ":" + (classifier.isChineseByBlock(aChar) ? "YES" : "NO"));
                    }
    
                    System.out.println("使用UnicodeScript方法判断字符是否为汉字:");
                    for (char aChar : chars) {
                        System.out.println(aChar + ":" + (classifier.isChineseByScript(aChar) ? "YES" : "NO"));
                    }
                } else {
                    System.out.println("判断是否为中文符号:");
                    for (char aChar : chars) {
                        System.out.println(aChar + ":" + (classifier.isChinesePunctuation(aChar) ? "YES" : "NO"));
                    }
    
                }
            }
        }
    
        //使用UnicodeBlock方法判断
        public boolean isChineseByBlock(char c) {
            Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
            if (ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS
                    || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A
                    || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B
                    || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C
                    || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D
                    || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS
                    || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) {
                return true;
            } else {
                return false;
            }
        }
    
    
        //使用UnicodeScript方法判断
        public boolean isChineseByScript(char c) {
            Character.UnicodeScript sc = Character.UnicodeScript.of(c);
            if (sc == Character.UnicodeScript.HAN) {
                return true;
            }
            return false;
        }
    
        // 根据UnicodeBlock方法判断中文标点符号
        public boolean isChinesePunctuation(char c) {
            Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
            if (ub == Character.UnicodeBlock.GENERAL_PUNCTUATION
                    || ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION
                    || ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
                    || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS
                    || ub == Character.UnicodeBlock.VERTICAL_FORMS) {
                return true;
            } else {
                return false;
            }
        }
    
        // 使用Unicode编码范围来判断汉字;这个方法不准确,因为还有很多汉字不在这个范围之内
        public boolean isChineseByRange(String str) {
            if (str == null) {
                return false;
            }
            Pattern pattern = Pattern.compile("[\\u4E00-\\u9FCC]+");
            return pattern.matcher(str.trim()).find();
        }
    
    }

    复制代码

     

    程序输出:

    复制代码

    原字符串为:Hello
    使用0x4E00-0x9FCC范围判断字符是否为汉字:
    H:NO
    e:NO
    l:NO
    l:NO
    o:NO
    使用UnicodeBlock方法判断字符是否为汉字:
    H:NO
    e:NO
    l:NO
    l:NO
    o:NO
    使用UnicodeScript方法判断字符是否为汉字:
    H:NO
    e:NO
    l:NO
    l:NO
    o:NO
    原字符串为:你好
    使用0x4E00-0x9FCC范围判断字符是否为汉字:
    你:YES
    好:YES
    使用UnicodeBlock方法判断字符是否为汉字:
    你:YES
    好:YES
    使用UnicodeScript方法判断字符是否为汉字:
    你:YES
    好:YES
    原字符串为:㐀㐂㐄
    使用0x4E00-0x9FCC范围判断字符是否为汉字:
    㐀:NO
    㐂:NO
    㐄:NO
    使用UnicodeBlock方法判断字符是否为汉字:
    㐀:YES
    㐂:YES
    㐄:YES
    使用UnicodeScript方法判断字符是否为汉字:
    㐀:YES
    㐂:YES
    㐄:YES
    原字符串为:にほんご
    使用0x4E00-0x9FCC范围判断字符是否为汉字:
    に:NO
    ほ:NO
    ん:NO
    ご:NO
    使用UnicodeBlock方法判断字符是否为汉字:
    に:NO
    ほ:NO
    ん:NO
    ご:NO
    使用UnicodeScript方法判断字符是否为汉字:
    に:NO
    ほ:NO
    ん:NO
    ご:NO
    原字符串为:조선어
    使用0x4E00-0x9FCC范围判断字符是否为汉字:
    조:NO
    선:NO
    어:NO
    使用UnicodeBlock方法判断字符是否为汉字:
    조:NO
    선:NO
    어:NO
    使用UnicodeScript方法判断字符是否为汉字:
    조:NO
    선:NO
    어:NO
    原字符串为:,.?!@#$%^&()
    判断是否为中文符号:
    ,:NO
    .:NO
    ?:NO
    !:NO
    @:NO
    #:NO
    $:NO
    %:NO
    ^:NO
    &:NO
    (:NO
    ):NO
    原字符串为:,。?!@#¥%……&()
    判断是否为中文符号:
    ,:YES
    。:YES
    ?:YES
    !:YES
    @:YES
    #:YES
    ¥:YES
    %:YES
    …:YES
    …:YES
    &:YES
    (:YES
    ):YES
    展开全文
  • c#中根据标点符号对字符串进行分行,这个程序是在vs中开发的,方便大家参考学习
  • 判断字符串有多少个汉字和标点符号, // GENERAL_PUNCTUATION 判断中文的“号 // CJK_SYMBOLS_AND_PUNCTUATION 判断中文的。号 // HALFWIDTH_AND_FULLWIDTH_FORMS 判断中文的,号
  • 本篇文章主要介绍了Java判断中英文符号标点的实现,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
  • 最近在处理文本,发现切分句子,去除标点符号判断字符串是否包含中文经常会用到,我这里分享一下我的代码: 切分句子 import re def split_sentences(line): line_split = re.split(r'[。!;?,]',line.strip...

    最近在处理文本,发现切分句子,去除标点符号,判断字符串是否包含中文经常会用到,我这里分享一下我的代码:

    • 切分句子
    import re
    def split_sentences(line):
        line_split = re.split(r'[。!;?,]',line.strip())
        line_split = [line.strip() for line in line_split if line.strip() not in ['。','!','?',';',','] and len(line.strip())>1]
        return line_split
    • 判断字符串是否包含中文
    def is_contain_chinese(check_str):
        """
        判断字符串中是否包含中文
        :param check_str: {str} 需要检测的字符串
        :return: {bool} 包含返回True, 不包含返回False
        """
        for ch in check_str:
            if u'\u4e00' <= ch <= u'\u9fff':
                return True
        return False
    
    • 去除标点符号
    def remove_punctuation(line):
        rule = re.compile(r"[^a-zA-Z0-9\u4e00-\u9fa5]")
        line = rule.sub('',line)
        return line

    参考文献

    [1].Python处理中文标点符号大集合. https://www.jb51.net/article/140055.htm

    [2].Python编程:判断字符串中是否包含中文. https://blog.csdn.net/mouday/article/details/81512870

    展开全文
  • * 该函数判断一个字符串是否包含标点符号(中文英文标点符号)。 * 原理是原字符串做一次清洗,清洗掉所有标点符号。 * 此时,如果原字符串包含标点符号,那么清洗后的长度和原字符串长度不同。返回true。 * ...
  • ispunct() 函数用来检测一个字符是否为标点符号或特殊字符,其原型为:  int ispunct(int c); 【参数】c 为需要检测的字符。 【返回值】若 c 为标点符号或特殊符号(非空格、非数字和非英文字母)返回非 0 ...
  • 有时,我们希望判断文本框中用户输入的字符是否含有特殊符号(*/#$@),就像用户注册时密码框的填写。 demo 利用 RegExp 对象,能很优雅的实现以上需求: // even(文本框内容) function (even) { // 规则对象(flag) ...
  • //判断字符是否是 英文半角符号 function patchABCbiaodian(temp) { var reg = /[\x21-\x2f\x3a-\x40\x5b-\x60\x7B-\x7F]/; if(reg.test(temp)){ return true; }else{ return false; } }
  • function isChina(s){ var index = escape(s).indexOf("%u"); if(index ){return false;}else{return ture} } ...原理:escape对字符串...indexOf用以判断在字符串中是否存在某子字符串,找不到返回”-1"。
  • python获取 英文标点符号

    千次阅读 2020-07-22 19:19:24
    英文中的所有标点符号 from string import punctuation punctuation 结果: '!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~' 删除中文文本中的所有标点符号 import re pun = ",。……——“”‘’!;...
  • 【Java】判断中英文符号标点

    万次阅读 2017-01-10 08:46:48
    方法一、用unicodeBlock和unicodeScript判断 在Java中,主要使用 Character类处理字符有关功能,而JDK 1.7中Character是按照Unicode 6.0版本实现的,所以这个要先学习下常用的 Unicode编码。 其中的UnicodeBlock ...
  • 正则表达式匹配标点符号

    千次阅读 2019-09-12 17:16:12
    大写 P 表示 Unicode 字符集七个字符属性之一:标点字符。 其他六个是 L:字母; M:标记符号(一般不会单独出现); Z:分隔符(比如空格、换行等); S:符号(比如数学符号、货币符号等); N:数字...
  • java正则表达式验证标点符号

    万次阅读 2013-12-22 16:11:43
    统计标点符号个数 String str = "\"”.。,!,"; int count = 0; Pattern pattern = Pattern.compile("\\pP"); char c[] = str.toCharArray(); for (int i = 0; i ; i++) { Matcher matcher = pattern.matcher(Strin
  • C++检测标点符号

    千次阅读 2016-10-12 14:42:06
    下面是关于C++如何检测标点符号的,无论中文还是英文标点,这里能检测到的中文标点符号为GB2312编码格式的 BOOL isText(string cStrName) {  const char *str=cStrName.c_str();  char ch = *str++;  ...
  • 判断一个字符串是否是全中文,并且中英文状态输入的逗号、句号等也都会区分,代码如下:('test',this.value)" /> function CheckChinese(obj,val){ var reg = new RegExp("[\\u4E00-\\u
  • #coding:gbk s = (' ', ',', '.', '!') something = input('Enter ...for l in something: #把字符转化成列表,方便使用remove清除标点和空格 L.append(l) def del_s(text): #清除空格和标点,返回str for l in ...
  • c++ 处理中文标点符号

    千次阅读 2017-02-26 19:33:22
    1、去掉字符串首尾的标点符号——英文 str.erase(0, str.find_first_not_of(str_puncuation)); | str.erase(str.find_last_not_of(str_puncuation) + 1); 其中str_puncuation表示要删除的标点符号存在问题:处理的...
  • java中使用正则匹配所有标点符号

    千次阅读 2018-12-07 10:44:43
    if (endStr.matches(&quot;[\\pP\\p{Punct}]&quot;))

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 28,477
精华内容 11,390
关键字:

判断标点符号的方法