精华内容
下载资源
问答
  • Python 异常处理python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。异常处理: 本站Python教程会具体介绍。断言(Assertions):本站Python教程会具体介绍。...

    Python 异常处理

    python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。异常处理: 本站Python教程会具体介绍。

    断言(Assertions):本站Python教程会具体介绍。

    python标准异常

    异常名称描述

    BaseException所有异常的基类

    SystemExit解释器请求退出

    KeyboardInterrupt用户中断执行(通常是输入^C)

    Exception常规错误的基类

    StopIteration迭代器没有更多的值

    GeneratorExit生成器(generator)发生异常来通知退出

    StandardError所有的内建标准异常的基类

    ArithmeticError所有数值计算错误的基类

    FloatingPointError浮点计算错误

    OverflowError数值运算超出最大限制

    ZeroDivisionError除(或取模)零 (所有数据类型)

    AssertionError断言语句失败

    AttributeError对象没有这个属性

    EOFError没有内建输入,到达EOF 标记

    EnvironmentError操作系统错误的基类

    IOError输入/输出操作失败

    OSError操作系统错误

    WindowsError系统调用失败

    ImportError导入模块/对象失败

    LookupError无效数据查询的基类

    IndexError序列中没有此索引(index)

    KeyError映射中没有这个键

    MemoryError内存溢出错误(对于Python 解释器不是致命的)

    NameError未声明/初始化对象 (没有属性)

    UnboundLocalError访问未初始化的本地变量

    ReferenceError弱引用(Weak reference)试图访问已经垃圾回收了的对象

    RuntimeError一般的运行时错误

    NotImplementedError尚未实现的方法

    SyntaxErrorPython 语法错误

    IndentationError缩进错误

    TabErrorTab 和空格混用

    SystemError一般的解释器系统错误

    TypeError对类型无效的操作

    ValueError传入无效的参数

    UnicodeErrorUnicode 相关的错误

    UnicodeDecodeErrorUnicode 解码时的错误

    UnicodeEncodeErrorUnicode 编码时错误

    UnicodeTranslateErrorUnicode 转换时错误

    Warning警告的基类

    DeprecationWarning关于被弃用的特征的警告

    FutureWarning关于构造将来语义会有改变的警告

    OverflowWarning旧的关于自动提升为长整型(long)的警告

    PendingDeprecationWarning关于特性将会被废弃的警告

    RuntimeWarning可疑的运行时行为(runtime behavior)的警告

    SyntaxWarning可疑的语法的警告

    UserWarning用户代码生成的警告

    什么是异常?

    异常即是一个事件,该事件会在程序执行过程中发生,影响了程序的正常执行。

    一般情况下,在Python无法正常处理程序时就会发生一个异常。

    异常是Python对象,表示一个错误。

    当Python脚本发生异常时我们需要捕获处理它,否则程序会终止执行。

    异常处理

    捕捉异常可以使用try/except语句。

    try/except语句用来检测try语句块中的错误,从而让except语句捕获异常信息并处理。

    如果你不想在异常发生时结束你的程序,只需在try里捕获它。

    语法:

    以下为简单的try....except...else的语法:

    try:

    <语句> #运行别的代码

    except <名字>:

    <语句> #如果在try部份引发了'name'异常

    except <名字>,<数据>:

    <语句> #如果引发了'name'异常,获得附加的数据

    else:

    <语句> #如果没有异常发生

    try的工作原理是,当开始一个try语句后,python就在当前程序的上下文中作标记,这样当异常出现时就可以回到这里,try子句先执行,接下来会发生什么依赖于执行时是否出现异常。如果当try后的语句执行时发生异常,python就跳回到try并执行第一个匹配该异常的except子句,异常处理完毕,控制流就通过整个try语句(除非在处理异常时又引发新的异常)。

    如果在try后的语句里发生了异常,却没有匹配的except子句,异常将被递交到上层的try,或者到程序的最上层(这样将结束程序,并打印默认的出错信息)。

    如果在try子句执行时没有发生异常,python将执行else语句后的语句(如果有else的话),然后控制流通过整个try语句。

    实例

    下面是简单的例子,它打开一个文件,在该文件中的内容写入内容,且并未发生异常:

    #!/usr/bin/python

    # -*- coding: UTF-8 -*-

    try:

    fh = open("testfile", "w")

    fh.write("这是一个测试文件,用于测试异常!!")

    except IOError:

    print "Error: 没有找到文件或读取文件失败"

    else:

    print "内容写入文件成功"

    fh.close()

    以上程序输出结果:

    $ python test.py

    内容写入文件成功

    $ cat testfile # 查看写入的内容

    这是一个测试文件,用于测试异常!!

    实例

    下面是简单的例子,它打开一个文件,在该文件中的内容写入内容,但文件没有写入权限,发生了异常:

    #!/usr/bin/python

    # -*- coding: UTF-8 -*-

    try:

    fh = open("testfile", "w")

    fh.write("这是一个测试文件,用于测试异常!!")

    except IOError:

    print "Error: 没有找到文件或读取文件失败"

    else:

    print "内容写入文件成功"

    fh.close()

    在执行代码前为了测试方便,我们可以先去掉 testfile 文件的写权限,命令如下:

    chmod -w testfile

    再执行以上代码:

    $ python test.py

    Error: 没有找到文件或读取文件失败

    使用except而不带任何异常类型

    你可以不带任何异常类型使用except,如下实例:

    try:

    正常的操作

    ......................

    except:

    发生异常,执行这块代码

    ......................

    else:

    如果没有异常执行这块代码

    以上方式try-except语句捕获所有发生的异常。但这不是一个很好的方式,我们不能通过该程序识别出具体的异常信息。因为它捕获所有的异常。

    使用except而带多种异常类型

    你也可以使用相同的except语句来处理多个异常信息,如下所示:

    try:

    正常的操作

    ......................

    except(Exception1[, Exception2[,...ExceptionN]]]):

    发生以上多个异常中的一个,执行这块代码

    ......................

    else:

    如果没有异常执行这块代码

    try-finally 语句

    try-finally 语句无论是否发生异常都将执行最后的代码。

    try:

    <语句>

    finally:

    <语句> #退出try时总会执行

    raise

    实例

    #!/usr/bin/python

    # -*- coding: UTF-8 -*-

    try:

    fh = open("testfile", "w")

    fh.write("这是一个测试文件,用于测试异常!!")

    finally:

    print "Error: 没有找到文件或读取文件失败"

    如果打开的文件没有可写权限,输出如下所示:

    $ python test.py

    Error: 没有找到文件或读取文件失败

    同样的例子也可以写成如下方式:

    #!/usr/bin/python

    # -*- coding: UTF-8 -*-

    try:

    fh = open("testfile", "w")

    try:

    fh.write("这是一个测试文件,用于测试异常!!")

    finally:

    print "关闭文件"

    fh.close()

    except IOError:

    print "Error: 没有找到文件或读取文件失败"

    当在try块中抛出一个异常,立即执行finally块代码。

    finally块中的所有语句执行后,异常被再次触发,并执行except块代码。

    参数的内容不同于异常。

    异常的参数

    一个异常可以带上参数,可作为输出的异常信息参数。

    你可以通过except语句来捕获异常的参数,如下所示:

    try:

    正常的操作

    ......................

    except ExceptionType, Argument:

    你可以在这输出 Argument 的值...

    变量接收的异常值通常包含在异常的语句中。在元组的表单中变量可以接收一个或者多个值。

    元组通常包含错误字符串,错误数字,错误位置。

    实例

    以下为单个异常的实例:

    #!/usr/bin/python

    # -*- coding: UTF-8 -*-

    # 定义函数

    def temp_convert(var):

    try:

    return int(var)

    except ValueError, Argument:

    print "参数没有包含数字\n", Argument

    # 调用函数

    temp_convert("xyz");

    以上程序执行结果如下:

    $ python test.py

    参数没有包含数字

    invalid literal for int() with base 10: 'xyz'

    触发异常

    我们可以使用raise语句自己触发异常

    raise语法格式如下:

    raise [Exception [, args [, traceback]]]

    语句中 Exception 是异常的类型(例如,NameError)参数标准异常中任一种,args 是自已提供的异常参数。

    最后一个参数是可选的(在实践中很少使用),如果存在,是跟踪异常对象。

    实例

    一个异常可以是一个字符串,类或对象。 Python的内核提供的异常,大多数都是实例化的类,这是一个类的实例的参数。

    定义一个异常非常简单,如下所示:

    def functionName( level ):

    if level < 1:

    raise Exception("Invalid level!", level)

    # 触发异常后,后面的代码就不会再执行

    注意:为了能够捕获异常,"except"语句必须有用相同的异常来抛出类对象或者字符串。

    例如我们捕获以上异常,"except"语句如下所示:

    try:

    正常逻辑

    except Exception,err:

    触发自定义异常

    else:

    其余代码

    实例

    #!/usr/bin/python

    # -*- coding: UTF-8 -*-

    # 定义函数

    def mye( level ):

    if level < 1:

    raise Exception,"Invalid level!"

    # 触发异常后,后面的代码就不会再执行

    try:

    mye(0) # 触发异常

    except Exception,err:

    print 1,err

    else:

    print 2

    执行以上代码,输出结果为:

    $ python test.py

    1 Invalid level!

    用户自定义异常

    通过创建一个新的异常类,程序可以命名它们自己的异常。异常应该是典型的继承自Exception类,通过直接或间接的方式。

    以下为与RuntimeError相关的实例,实例中创建了一个类,基类为RuntimeError,用于在异常触发时输出更多的信息。

    在try语句块中,用户自定义的异常后执行except块语句,变量 e 是用于创建Networkerror类的实例。

    class Networkerror(RuntimeError):

    def __init__(self, arg):

    self.args = arg

    在你定义以上类后,你可以触发该异常,如下所示:

    try:

    raise Networkerror("Bad hostname")

    except Networkerror,e:

    print e.args

    展开全文
  • num1*num2 print '/',num1/num2 为什么我在输入第一个数为字符串类型 “12”的时候 Python 2.7.8 就报错下面异常? Traceback (most recent call last): File "2.py", line 1, in num1 = int(raw_input('1')) ...

    num1 = int(raw_input('1'))

    num2 = int(raw_input('2'))

    if not isinstance(num1,int):

    print 'one print error'

    elif not isinstance(num2,int):

    print 'two print error'

    else:

    print '+',num1+num2

    print '-',num1-num2

    print '*',num1*num2

    print '/',num1/num2

    为什么我在输入第一个数为字符串类型 “12”的时候 Python 2.7.8 就报错下面异常?

    Traceback (most recent call last):

    File "2.py", line 1, in

    num1 = int(raw_input('1'))

    ValueError: invalid literal for int() with base 10: "'23'"

    展开全文
  • 类型转换int(x [,base ]) 将x转换为一个整数 long(x [,base ]) 将x转换为一个长整数 float(x ) 将x转换到一个浮点数 complex(real [,imag ]) 创建一个复数 str(x ) 将对象 x 转换为字符串 repr(x ) 将对象 x 转换为...

    类型转换

    int(x [,base ]) 将x转换为一个整数 long(x [,base ]) 将x转换为一个长整数 float(x ) 将x转换到一个浮点数 complex(real [,imag ]) 创建一个复数 str(x ) 将对象 x 转换为字符串 repr(x ) 将对象 x 转换为表达式字符串 eval(str ) 用来计算在字符串中的有效Python表达式,并返回一个对象 tuple(s ) 将序列 s 转换为一个元组 list(s ) 将序列 s 转换为一个列表 chr(x ) 将一个整数转换为一个字符 unichr(x ) 将一个整数转换为Unicode字符 ord(x ) 将一个字符转换为它的整数值 hex(x ) 将一个整数转换为一个十六进制字符串 oct(x ) 将一个整数转换为一个八进制字符串

    数值操作

    s + r 序列连接

    s * n , n * s s的 n 次拷贝,n为整数

    s % d 字符串格式化(仅字符串)

    s[i] 索引

    s[i :j ] 切片

    x in s , x not in s 从属关系

    for x in s : 迭代

    len(s) 长度

    min(s) 最小元素

    max(s) 最大元素

    s[i ] = x 为s[i]重新赋值

    s[i :j ] = r 将列表片段重新赋值

    del s[i ] 删除列表中一个元素

    del s[i :j ] 删除列表中一个片段

    异常处理

    Python的异常处理能力是很强大的,可向用户准确反馈出错信息。在Python中,异常也是对象,可对它进行操作。所有异常都是基类Exception的成员。所有异常都从基类Exception继承,而且都在exceptions模块中定义。Python自动将所有异常名称放在内建命名空间中,所以程序不必导入exceptions模块即可使用异常。一旦引发而且没有捕捉SystemExit异常,程序执行就会终止。如果交互式会话遇到一个未被捕捉的SystemExit异常,会话就会终止。

    方式一:try语句:

    1使用try和except语句来捕获异常

    try:

    block

    except [exception,[data…]]:

    block

    try:

    block

    except [exception,[data…]]:

    block

    else:

    block

    该种异常处理语法的规则是:

    · 执行try下的语句,如果引发异常,则执行过程会跳到第一个except语句。

    · 如果第一个except中定义的异常与引发的异常匹配,则执行该except中的语句。

    · 如果引发的异常不匹配第一个except,则会搜索第二个except,允许编写的except数量没有限制。

    · 如果所有的except都不匹配,则异常会传递到下一个调用本代码的最高层try代码中。

    · 如果没有发生异常,则执行else块代码。

    例:

    try:

    f = open(“file.txt”,”r”)

    except IOError, e:

    print e

    捕获到的IOError错误的详细原因会被放置在对象e中,然后运行该异常的except代码块

    捕获所有的异常

    try:

    a=b

    b=c

    except Exception,ex:

    print Exception,”:”,ex

    使用except子句需要注意的事情,就是多个except子句截获异常时,如果各个异常类之间具有继承关系,则子类应该写在前面,否则父类将会直接截获子类异常。放在后面的子类异常也就不会执行到了。

    2 使用try跟finally:

    语法如下:

    try:

    block

    finally:

    block

    该语句的执行规则是:

    · 执行try下的代码。

    · 如果发生异常,在该异常传递到下一级try时,执行finally中的代码。

    · 如果没有发生异常,则执行finally中的代码。

    第二种try语法在无论有没有发生异常都要执行代码的情况下是很有用的。例如我们在python中打开一个文件进行读写操作,我在操作过程中不管是否出现异常,最终都是要把该文件关闭的。

    这两种形式相互冲突,使用了一种就不允许使用另一种,而功能又各异

    用raise语句手工引发一个异常:

    raise [exception[,data]]

    在Python中,要想引发异常,最简单的形式就是输入关键字raise,后跟要引发的异常的名称。异常名称标识出具体的类:Python异常是那些类的对象。执行raise语句时,Python会创建指定的异常类的一个对象。raise语句还可指定对异常对象进行初始化的参数。为此,请在异常类的名称后添加一个逗号以及指定的参数(或者由参数构成的一个元组)。

    例:

    try:

    raise MyError #自己抛出一个异常

    except MyError:

    print ‘a error’

    raise ValueError,’invalid argument’

    捕捉到的内容为:

    type = VauleError

    message = invalid argument

    采用traceback(跟踪)模块查看异常

    发生异常时,Python能“记住”引发的异常以及程序的当前状态。Python还维护着traceback(跟踪)对象,其中含有异常发生时与函数调用堆栈有关的信息。记住,异常可能在一系列嵌套较深的函数调用中引发。程序调用每个函数时,Python会在“函数调用堆栈”的起始处插入函数名。一旦异常被引发,Python会搜索一个相应的异常处理程序。如果当前函数中没有异常处理程序,当前函数会终止执行,Python会搜索当前函数的调用函数,并以此类推,直到发现匹配的异常处理程序,或者Python抵达主程序为止。这一查找合适的异常处理程序的过程就称为“堆栈辗转开解”(Stack Unwinding)。解释器一方面维护着与放置堆栈中的函数有关的信息,另一方面也维护着与已从堆栈中“辗转开解”的函数有关的信息。

    格式:

    try:

    block

    except:

    traceback.print_exc()

    示例:…excpetion/traceback.py

    采用sys模块回溯最后的异常

    import sys

    try:

    block

    except:

    info=sys.exc_info()

    print info[0],”:”,info[1]

    或者以如下的形式:

    import sys

    tp,val,td = sys.exc_info()

    sys.exc_info()的返回值是一个tuple, (type, value/message, traceback)

    这里的type —- 异常的类型

    value/message —- 异常的信息或者参数

    traceback —- 包含调用栈信息的对象。

    从这点上可以看出此方法涵盖了traceback.

    异常处理的一些其它用途

    除了处理实际的错误条件之外,对于异常还有许多其它的用处。在标准 Python 库中一个普通的用法就是试着导入一个模块,然后检查是否它能使用。导入一个并不存在的模块将引发一个 ImportError 异常。你可以使用这种方法来定义多级别的功能――依靠在运行时哪个模块是有效的,或支持多种平台 (即平台特定代码被分离到不同的模块中)。

    你也能通过创建一个从内置的 Exception 类继承的类定义你自己的异常,然后使用 raise 命令引发你的异常。如果你对此感兴趣,请看进一步阅读的部分。

    下面的例子演示了如何使用异常支持特定平台功能。代码来自 getpass 模块,一个从用户获得口令的封装模块。获得口令在 UNIX、Windows 和 Mac OS 平台上的实现是不同的,但是这个代码封装了所有的不同之处。

    例支持特定平台功能

    try:

    import termios, TERMIOS

    except ImportError:

    try:

    import msvcrt

    except ImportError:

    try:

    from EasyDialogs import AskPassword

    except ImportError:

    getpass = default_getpass

    else:

    getpass = AskPassword

    else:

    getpass = win_getpass

    else:

    getpass = unix_getpass

    termios 是 UNIX 独有的一个模块,它提供了对于输入终端的底层控制。如果这个模块无效 (因为它不在你的系统上,或你的系统不支持它),则导入失败,Python 引发我们捕捉的 ImportError 异常。

    OK,我们没有 termios,所以让我们试试 msvcrt,它是 Windows 独有的一个模块,可以提供在 Microsoft Visual C++ 运行服务中的许多有用的函数的一个API。如果导入失败,Python 会引发我们捕捉的 ImportError 异常。

    如果前两个不能工作,我们试着从 EasyDialogs 导入一个函数,它是 Mac OS 独有的一个模块,提供了各种各样类型的弹出对话框。再一次,如果导入失败,Python 会引发一个我们捕捉的 ImportError 异常。

    这些平台特定的模块没有一个有效 (有可能,因为 Python 已经移植到了许多不同的平台上了),所以我们需要回头使用一个缺省口令输入函数 (这个函数定义在 getpass 模块中的别的地方)。注意我们在这里所做的:我们将函数 default_getpass 赋给变量 getpass。如果你读了官方 getpass 文档,它会告诉你 getpass 模块定义了一个 getpass 函数。它是这样做的:通过绑定 getpass 到正确的函数来适应你的平台。然后当你调用 getpass 函数时,你实际上调用了平台特定的函数,是这段代码已经为你设置好的。你不需要知道或关心你的代码正运行在何种平台上;只要调用 getpass,则它总能正确处理。

    一个 try...except 块可以有一条 else 子句,就像 if 语句。如果在 try 块中没有异常引发,然后 else 子句被执行。在本例中,那就意味着如果 from EasyDialogs import AskPassword 导入可工作,所以我们应该绑定 getpass 到 AskPassword 函数。其它每个 try...except 块有着相似的 else 子句,当我们发现一个 import 可用时,就绑定 getpass 到适合的函数。

    展开全文
  • 1.问题描述在使用PySpark的SparkSQL读取HDFS的文本文件创建DataFrame时,在做数据类型转换时会出现一些异常,如下:1.在设置Schema字段类型为DoubleType,抛“name 'DoubleType' is not defined”异常;2.将读取的...

    温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

    1.问题描述

    在使用PySpark的SparkSQL读取HDFS的文本文件创建DataFrame时,在做数据类型转换时会出现一些异常,如下:

    1.在设置Schema字段类型为DoubleType,抛“name 'DoubleType' is not defined”异常;

    2.将读取的数据字段转换为DoubleType类型时抛“Double Type can not accept object u'23' in type ”异常;

    3.将字段定义为StringType类型,SparkSQL也可以对数据进行统计如sum求和,非数值的数据不会被统计。

    具体异常如下:

    异常一:NameError: name 'DoubleType' is not defined

    NameErrorTraceback (most recent call last)

    in engine

    1 schema = StructType([StructField("person_name", StringType(), False),

    ----> 2 StructField("person_age", DoubleType(), False)])

    NameError: name 'DoubleType' is not defined

    异常二:Py4JJavaError: An error occurred while calling o152.showString.

    : org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (TID 3, ip-172-31-26-102.ap-southeast-1.compute.internal, executor 1): org.apache.spark.api.python.PythonException: Traceback (most recent call last):

    File "/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/lib/spark2/python/lib/pyspark.zip/pyspark/worker.py", line 174, in main

    process()

    File "/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/lib/spark2/python/lib/pyspark.zip/pyspark/worker.py", line 169, in process

    serializer.dump_stream(func(split_index, iterator), outfile)

    File "/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/lib/spark2/python/lib/pyspark.zip/pyspark/serializers.py", line 268, in dump_stream

    vs = list(itertools.islice(iterator, batch))

    File "/opt/cloudera/parcels/SPARK2/lib/spark2/python/pyspark/sql/session.py", line 509, in prepare

    verify_func(obj, schema)

    File "/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/lib/spark2/python/lib/pyspark.zip/pyspark/sql/types.py", line 1360, in _verify_type

    _verify_type(v, f.dataType, f.nullable)

    File "/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/lib/spark2/python/lib/pyspark.zip/pyspark/sql/types.py", line 1324, in _verify_type

    raise TypeError("%s can not accept object %r in type %s" % (dataType, obj, type(obj)))

    TypeError: DoubleType can not accept object u'23' in type

    at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:193)

    at org.apache.spark.api.python.PythonRunner$$anon$1.(PythonRDD.scala:234)

    at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:152)

    at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:63)

    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)

    at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)

    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)

    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)

    2.解决方法异常一:NameError: name 'DoubleType' is not defined

    问题原因:

    由于在Python代码中未引入pyspark.sql.types为DoubleType的数据类型导致

    解决方法:from pyspark.sql.types import *

    或者from pyspark.sql.types import Row, StructField, StructType, StringType, IntegerType, DoubleType异常二:TypeError: DoubleType can not accept object u'23' in type

    at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:193)

    at org.apache.spark.api.python.PythonRunner$$anon$1.(PythonRDD.scala:234)

    at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:152)

    at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:63)

    问题原因:

    由于Python默认的字符编码集为unicode,如果需要将字段转为Double类型,则需要进行转换。

    解决方法:# Schema with two fields - person_name and person_age

    schema = StructType([StructField("person_name", StringType(), False),

    StructField("person_age", DoubleType(), False)])

    lines = spark.read.text("/tmp/test/").rdd \

    .map(lambda x:x[0].split(",")) \

    .map(lambda x: (x[0], float(x[1])))

    增加标红部分代码,将需要转换的字段转换为float类型。

    转换完成后代码正常运行。

    3.总结

    1.在上述测试代码中,如果x1列的数据中有空字符串或者非数字字符串则会导致转换失败,因此在指定字段数据类型的时候,如果数据中存在“非法数据”则需要对数据进行剔除,否则不能正常执行。

    测试数据如下:

    代码执行报错如下:Py4JJavaError: An error occurred while calling o291.showString.

    : org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (TID 3, ip-172-31-26-102.ap-southeast-1.compute.internal, executor 1): org.apache.spark.api.python.PythonException: Traceback (most recent call last):

    File "/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/lib/spark2/python/lib/pyspark.zip/pyspark/worker.py", line 174, in main

    process()

    File "/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/lib/spark2/python/lib/pyspark.zip/pyspark/worker.py", line 169, in process

    serializer.dump_stream(func(split_index, iterator), outfile)

    File "/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/lib/spark2/python/lib/pyspark.zip/pyspark/serializers.py", line 268, in dump_stream

    vs = list(itertools.islice(iterator, batch))

    File "", line 1, in

    ValueError: invalid literal for float(): 23q

    at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:193)

    at org.apache.spark.api.python.PythonRunner$$anon$1.(PythonRDD.scala:234)

    at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:152)

    at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:63)

    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)

    2.若不对“非法数据”进行剔除,则需要将该字段数据类型定义为StringType,可以正常对字段进行统计,对于非数字的数据则不进行统计。

    测试数据:醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花!

    温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

    推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

    展开全文
  • 前面的例子里充斥了很多 Python 内置的异常类型,读者也许会问,我可以创建自己的异常类型吗?答案是肯定的,Python 允许用户自定义异常类型。实际开发中,有时候系统提供的异常类型不能满足开发的需求。这时就可以...
  • python标准异常异常名称 描述BaseException 所有异常的基类SystemExit 解释器请求退出KeyboardInterrupt 用户中断执行(通常是输入^C)Exception 常规错误的...
  • 强制类型转换:字符串 --> 整型:字符串 第一个 是 + 或者 - ,会直接去掉 符号 ,返回 数字如:1 a = '+123456'2 s =int(a)34 print(s)56 s = 123456如果字符串 非法,则返回 False如:1 a = '+123+456'2 s =int(a)...
  • python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。什么是异常异常即是一个事件,该事件会在程序执行过程中发生,影响了程序的正常执行。一般情况下,...
  • I tried performing following typecast operation in Python 3.3int( 10**23 / 10 )Output: 10000000000000000000000And after increasing power by one or furtherint( 10**24 / 10 )Output: 99999999999999991611...
  • python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。1.异常处理: 本站Python教程会具体介绍。2.断言(Assertions):本站Python教程会具体介绍。python标准...
  • 关键字TypeError、类型转换出错异常描述TypeError: Can’t convert ‘int’ object to str implicitl……TypeError: can only concatenate tuple (not “int”) to tupleTypeError 表明是类型转换出错,可以根据错误...
  • 我在尝试将bytes对象转换为字符串时收到一个奇怪的错误:Traceback (most recent call last):File "/home/Scraper_v1.0.py", line 149, in rawjsonstr = str(rawjsonstr, 'utf-16')TypeError: decoding str is not ...
  • python类型转换

    2019-11-12 22:30:56
    python类型转换的四个函数int(),float(),str(),bool(); # 调用int()函数来将a转换为整型 # int()函数不会对原来的变量产生影响, # 如果希望改变变量,则需要对变量重新赋值 # 对于其他不可转换为整型的...
  • Python 类型转换

    2019-09-29 00:56:30
    版权所有,未经许可,禁止转载 章节Python 介绍 ...Python 类型转换 Python 字符串(String) Python 运算符 Python 列表(list) Python 元组(Tuple) Python 集合(Set) Python 字典(Dictionary) Python If...
  • int函数可以将任何可以转换为整型的值转换为整型,如果转换过程中出现错误,就会抛出异常python 捕获异常也是学习要点之一。python数据类型转换函数,演示代码:首先,进入Python解释器中,方便我们调试代码。>>> ...
  • 原博文2018-07-05 11:25 −学习过程中遇到了强转问题,这里... 软件环境 系统 UbuntuKylin 14.04 软件 Python 2.7.3 IPython 4.0.0 Python数据类型的显式转换 数据...相关推荐2015-11-08 19:04 −目录目录前言软件...
  • 原博文2019-07-25 15:03 −Python提供了将变量或值从一种类型转换成另一种类型的内置函数。比如int函数能够将符合数学格式数字型字符串转换成整数。否则,返回错误信息。...相关推荐2019-12-10 17:29 −定义:int...
  • python 类型转换+数值操作+异常处理

    千次阅读 2016-06-30 10:35:18
    类型转换int(x [,base ]) 将x转换为一个整数 long(x [,base ]) 将x转换为一个长整数 float(x ) 将x转换到一个浮点数 complex(real [,imag ]) 创建一个复数 str(x ) 将对象 x 转换为字符串 repr(x ) 将
  • PythonPython开发Python语言Python 常见异常类型 python标准异常异常名称 描述BaseException 所有异常的基类SystemExit 解释器请求退出KeyboardInterrupt ...
  • Python 介绍 Python 开发环境搭建 ... Python 类型转换 Python 字符串(String) Python 运算符 Python 列表(list) Python 元组(Tuple) Python 集合(Set) Python 字典(Dictionary) Python If … Else Py...
  • int函数可以将任何可以转换为整型的值转换为整型,如果转换过程中出现错误,就会抛出异常python 捕获异常也是学习要点之一。python数据类型转换函数,演示代码:首先,进入Python解释器中,方便我们调试代码。>>> ...
  • https://www.xin3721.com/eschool/pythonxin3721/玩蛇网这篇...int函数可以将任何可以转换为整型的值转换为整型,如果转换过程中出现错误,就会抛出异常python 捕获异常也是学习要点之一。python数据类型转换函数...
  • 文章目录python标准异常异常处理自定义异常 python标准异常 异常就是影响程序正常执行的一个事件。 某一行代码发生异常,程序就退出了,后续代码都不会执行。 异常名称 描述 BaseException 所有异常的基类 ...
  • int函数可以将任何可以转换为整型的值转换为整型,如果转换过程中出现错误,就会抛出异常python 捕获异常也是学习要点之一。python数据类型转换函数,演示代码:首先,进入Python解释器中,方便我们调试代码。>>> ...
  • 看 JsonResponse(HttpResponse)类源码:知道是传入的数据不是字典类型,改为字典类型即可 def __init__(self, data, encoder=DjangoJSONEncoder, safe=True, json_dumps_params=None, **kwargs): if safe and

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 75,013
精华内容 30,005
关键字:

python类型转换异常

python 订阅