精华内容
下载资源
问答
  • linux安装pandas

    千次阅读 2021-05-14 16:58:07
    开箱即用的Numba使用以下方法: 操作系统:Windows(32位和64位),OSX和Linux(32位和64位) 架构:x86,x86_64,ppc64le。在armv7l,armv8l(aarch64)上进行实验。 GPU:Nvidia CUDA。AMD ROC的实验。 CPython的...

    1.1。Numba的约5分钟指南 Numba是Python的即时编译器,它最适用于使用NumPy数组和函数以及循环的代码。使用Numba的最常用方法是通过其装饰器集合,可以应用于您的函数来指示Numba编译它们。当调用Numba修饰函数时,它被编译为机器代码“及时”执行,并且您的全部或部分代码随后可以以本机机器代码速度运行!

    开箱即用的Numba使用以下方法:

    操作系统:Windows(32位和64位),OSX和Linux(32位和64位) 架构:x86,x86_64,ppc64le。在armv7l,armv8l(aarch64)上进行实验。 GPU:Nvidia CUDA。AMD ROC的实验。 CPython的 NumPy 1.10 - 最新 1.1.1。我怎么得到它? Numba可作为畅达包为 蟒蛇Python发布:

    $ conda install numba Numba还有pip可供选择:

    $ pip install numba Numba也可以 从源代码编译,虽然我们不建议首次使用Numba用户。

    Numba通常用作核心包,因此其依赖性保持在绝对最小值,但是,可以按如下方式安装额外的包以提供其他功能:

    scipy- 支持编译numpy.linalg功能。 colorama - 支持回溯/错误消息中的颜色突出显示。 pyyaml - 通过YAML配置文件启用Numba配置。 icc_rt - 允许使用Intel SVML(高性能短矢量数学库,仅限x86_64)。安装说明在 性能提示中。 1.1.2。Numba会为我的代码工作吗? 这取决于你的代码是什么样的,如果你的代码是以数字为导向的(做了很多数学运算),经常使用NumPy和/或有很多循环,那么Numba通常是一个不错的选择。在这些例子中,我们将应用最基本的Numba的JIT装饰器,@jit试图加速一些函数来演示哪些有效,哪些无效。

    Numba在代码看起来像这样:

    from numba import jit import numpy as np

    x = np.arange(100).reshape(10, 10)

    @jit(nopython=True) # Set "nopython" mode for best performance def go_fast(a): # Function is compiled to machine code when called the first time trace = 0 for i in range(a.shape[0]): # Numba likes loops trace += np.tanh(a[i, i]) # Numba likes NumPy functions return a + trace # Numba likes NumPy broadcasting

    print(go_fast(x)) 对于看起来像这样的代码,如果有的话,它将无法正常工作:

    from numba import jit import pandas as pd

    x = {'a': [1, 2, 3], 'b': [20, 30, 40]}

    @jit def use_pandas(a): # Function will not benefit from Numba jit df = pd.DataFrame.from_dict(a) # Numba doesn't know about pd.DataFrame df += 1 # Numba doesn't understand what this is return df.cov() # or this!

    print(use_pandas(x)) 请注意,Numba不理解Pandas,因此Numba只是通过解释器运行此代码,但增加了Numba内部开销的成本!

    1.1.3。什么是nopython模式? Numba @jit装饰器从根本上以两种编译模式运行, nopython模式和object模式。在go_fast上面的例子中, nopython=True在@jit装饰器中设置,这是指示Numba在nopython模式下操作。nopython编译模式的行为本质上是编译装饰函数,以便它完全运行而不需要Python解释器的参与。这是使用Numba jit装饰器的推荐和最佳实践方式,因为它可以带来最佳性能。

    如果编译nopython模式失败,Numba可以编译使用 ,如果没有设置,这是装饰器的 后退模式(如上例所示)。在这种模式下,Numba将识别它可以编译的循环并将它们编译成在机器代码中运行的函数,并且它将运行解释器中的其余代码。为获得最佳性能,请避免使用此模式objectmode@jitnopython=Trueuse_pandas

    1.1.4。如何衡量Numba的表现? 首先,回想一下,Numba必须为执行函数的机器代码版本之前给出的参数类型编译函数,这需要时间。但是,一旦编译完成,Numba会为所呈现的特定类型的参数缓存函数的机器代码版本。如果再次使用相同的类型调用它,它可以重用缓存的版本而不必再次编译。

    测量性能时,一个非常常见的错误是不考虑上述行为,并使用一个简单的计时器来计算一次,该计时器包括在执行时编译函数所花费的时间。

    例如:

    from numba import jit import numpy as np import time

    x = np.arange(100).reshape(10, 10)

    @jit(nopython=True) def go_fast(a): # Function is compiled and runs in machine code trace = 0 for i in range(a.shape[0]): trace += np.tanh(a[i, i]) return a + trace

    DO NOT REPORT THIS... COMPILATION TIME IS INCLUDED IN THE EXECUTION TIME!

    start = time.time() go_fast(x) end = time.time() print("Elapsed (with compilation) = %s" % (end - start))

    NOW THE FUNCTION IS COMPILED, RE-TIME IT EXECUTING FROM CACHE

    start = time.time() go_fast(x) end = time.time() print("Elapsed (after compilation) = %s" % (end - start)) 这,例如打印:

    Elapsed (with compilation) = 0.33030009269714355 Elapsed (after compilation) = 6.67572021484375e-06 衡量Numba JIT对您的代码的影响的一个好方法是使用timeit模块函数来执行时间,这些函数测量多次执行迭代,因此可以在第一次执行时适应编译时间。

    作为旁注,如果编译时间成为问题,Numba JIT支持 编译函数的磁盘缓存,并且还具有Ahead-Of-Time编译模式。

    1.1.5。它有多快? 假设Numba可以在nopython模式下运行,或者至少编译一些循环,它将针对您的特定CPU进行编译。加速因应用而异,但可以是一到两个数量级。Numba有一个 性能指南,涵盖了获得额外性能的常用选项。

    1.1.6。Numba如何运作? Numba读取装饰函数的Python字节码,并将其与有关函数输入参数类型的信息相结合。它分析并优化您的代码,最后使用LLVM编译器库生成函数的机器代码版本,根据您的CPU功能量身定制。每次调用函数时都会使用此编译版本。

    1.1.7。其他感兴趣的东西: Numba有相当多的装饰,我们看到@jit和@njit,但也有:

    @vectorize- 生成NumPy ufunc(ufunc支持所有方法)。文件在这里。 @guvectorize- 产生NumPy广义ufuncs。 文件在这里。 @stencil - 将函数声明为类似模板操作的内核。 文件在这里。 @jitclass - 对于jit感知类。文件在这里。 @cfunc - 声明一个函数用作本机回调(从C / C ++等调用)。文件在这里。 @overload- 注册您自己的函数实现,以便在nopython模式下使用,例如@overload(scipy.special.j0)。 文件在这里。 一些装饰者提供额外选项:

    parallel = True- 启用功能的 自动并行化。 fastmath = True- 为该功能启用快速数学行为。 ctypes / cffi / cython互操作性:

    cffi- 模式支持调用CFFI函数nopython。 ctypes- 模式支持调用ctypes包装函数nopython。。 Cython导出的函数是可调用的。 1.1.7.1。GPU目标: Numba可以针对Nvidia CUDA和(实验性)AMD ROC GPU。您可以使用纯Python编写内核,让Numba处理计算和数据移动(或明确地执行此操作)。单击关于CUDA或ROC的 Numba文档 。

    示例:接下来我们写一段简单的代码,来计算一下执行时间:

    示例1:不使用numba的:

    import time

    def num():

    arr = []

    for i in range(10000000):

    arr.append(i)

    stime = time.time() num() etime = time.time() - stime

    print(arr)

    print('用时:{}秒'.format(etime)) 示例输出时间:

    用时:1.4500024318695068秒

    示例2:使用numba @jit

    import time from numba import jit

    @jit def num():

    arr = []

    for i in range(10000000):

    arr.append(i)

    stime = time.time() num() etime = time.time() - stime

    print(arr)

    print('用时:{}秒'.format(etime)) 示例输出:

    用时:0.5530002117156982秒

    结论:

    上述两个示例代码,一个使用了numba,另一个没有使用numba;可以看出使用numba @jit装饰后,时间明显快了很多倍。

    这只是一个简单示例;对于复杂计算提高速度更明显。

    展开全文
  • Linux上安装pip和pandas

    千次阅读 2019-03-29 22:26:57
    Linux上安装pip和pandas,并记录两个关于Python编码问题。 安装pip wget https://bootstrap.pypa.io/get-pip.py python get-pip.py pip -V 注意这个V是大写的。 安装pandas pip install pandas 意思是从远程下载...
    目的

    在Linux上安装pip和pandas,并记录两个关于Python编码问题。

    安装pip
    1. wget https://bootstrap.pypa.io/get-pip.py
    2. python get-pip.py
    3. pip -V
      注意这个V是大写的。
    安装pandas

    pip install pandas
    意思是从远程下载pandas这个库,因为我自定义的py文件依赖pandas这个库。就像我们学习js的时候,把jQuery采用标签的方式引入到我们的js文件中,其实这个过程也就是安装,install.

    关于Python的编码问题
    1. 当我在自定义的py文件中打印汉字的时候,报错如下:
      SyntaxError: Non-ASCII character ‘\xe4’ in file。
      原因:Python中默认的编码格式是ASCII格式,所以在没有修改编码格式的时无法正确打印汉字。
      解决:在py文件最上面添加如下:
      #!/usr/bin/python
      #coding:utf-8
    2. 当使用pandas的时候,pd.to_csv()。这里的pd是一个DataFrame的数据结构。依然报编码错误。
      原因:Python是以Unicode编码作为中间桥梁,需要把文件解码。
      解决:pd.deconde(“utf8”),因为csv文件是utf8编码格式。然后再执行pd.to_csv()函数。
      错误:DataFrame没有deconde()的方法。
      选择如下解决方式:
      1)在程序文件中加入下面三句
      import sys
      reload(sys)
      sys.setdefaultencoding(‘utf8’)
    展开全文
  • Linux 查看 pandas

    2021-05-14 22:10:42
    >>> import pandas as pd >>> names = ['A','x','C','D','code','xxx','yyy'] >>> opcsv=pd.read_csv('test.csv', header=0, dtype={'code':str}) >>> opcsv A B C D code 0 1 2 3 4 23 1 5 6 7 7 234 2 23 423 4 ...

    引用来自“007”的评论

    (tf) [root@bogon testpd]# cat test.csv

    A,B,C,D,code

    1,2,3,4,23

    5,6,7,7,234

    23,423,4,21,123

    (tf) [root@bogon testpd]# python

    Python 3.6.6 (default, Aug 13 2018, 18:24:23)

    [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux

    Type "help", "copyright", "credits" or "license" for more information.

    >>> import pandas as pd

    >>> names = ['A','x','C','D','code','xxx','yyy']

    >>> opcsv=pd.read_csv('test.csv', header=0, dtype={'code':str})

    >>> opcsv

    A    B  C   D code

    0   1    2  3   4   23

    1   5    6  7   7  234

    2  23  423  4  21  123

    >>> opcsv.columns = names[:len(opcsv.columns)]

    >>> opcsv

    A    x  C   D code

    0   1    2  3   4   23

    1   5    6  7   7  234

    2  23  423  4  21  123

    >>>

    opcsv=pandas.read_csv(f,header=0,dtype={'code':str})

    opcsv.reindex(columns=names)

    请问我不太懂reindex(columns=names)是实现什么的 我尝试了一下似乎没有生效

    看下结果是不是你要的效果

    (tf) [root@bogon testpd]# cat test.csv

    A,B,C,D,code

    1,2,3,4,23

    5,6,7,7,234

    23,423,4,21,123

    (tf) [root@bogon testpd]# python

    Python 3.6.6 (default, Aug 13 2018, 18:24:23)

    [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux

    Type "help", "copyright", "credits" or "license" for more information.

    >>> import pandas as pd

    >>> names = ['A','B','C','D','code','xxx','yyy']

    >>> opcsv=pd.read_csv('test.csv', header=0, dtype={'code':str})

    >>> opcsv

    A    B  C   D code

    0   1    2  3   4   23

    1   5    6  7   7  234

    2  23  423  4  21  123

    >>> newpocsv = opcsv.reindex(columns=names)

    >>> newpocsv

    A    B  C   D code  xxx  yyy

    0   1    2  3   4   23  NaN  NaN

    1   5    6  7   7  234  NaN  NaN

    2  23  423  4  21  123  NaN  NaN

    >>>

    是的!这正是我想要的结果,但是不知道为什么我按照您给的代码尝试了一遍发现,列名并没有成功生效。

    以下是我打印调试的结果,由上面的list替换下面dataframe的表头

    但令我无奈的是他并没有生效,我也不清楚具体的原因

    是的!这正是我想要的结果,但是不知道为什么我按照您给的代码尝试了一遍发现,列名并没有成功生效。

    以下是我打印调试的结果,由上面的list替换下面dataframe的表头

    但令我无奈的是他并没有生效,我也不清楚具体的原因

    回复 @007 : 我通过回复成功实现了,但又引发了新的问题

    opcsv = opcsv.reindex(columns=names)

    14a70619790e741a3e3bedf0eb3a1da1.png

    原有的数据也被全部清空赋值NaN了。我不清楚具体原因,我现在正尝试断点debug查看问题所在

    当我在debug的时候发现了这样的报错

    Traceback (most recent call last):   File "E:\Program Files (x86)\PyCharm 2018.1.3\helpers\pydev\pydevd.py", line 1664, in     main()   File "E:\Program Files (x86)\PyCharm 2018.1.3\helpers\pydev\pydevd.py", line 1658, in main     globals = debugger.run(setup['file'], None, None, is_module)   File "E:\Program Files (x86)\PyCharm 2018.1.3\helpers\pydev\pydevd.py", line 1068, in run     pydev_imports.execfile(file, globals, locals)  # execute the script   File "E:\Program Files (x86)\PyCharm 2018.1.3\helpers\pydev\_pydev_imps\_pydev_execfile.py", line 18, in execfile     exec(compile(contents+"\n", file, 'exec'), glob, loc)   File "C:/Users/Administrator/Desktop/computerXP/hebing.py", line 2, in     import pymysql,pandas,os,time,numpy   File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\__init__.py", line 19, in     "Missing required dependencies {0}".format(missing_dependencies)) ImportError: Missing required dependencies ['numpy']

    我不知道是否是他的原因

    我似乎找到了原因

    frame = pd.DataFrame(np.arange(9).reshape((3, 3)), index=['a', 'c', 'd'], columns=['c1', 'c2', 'c3']) print frame

    因为我本地读取的csv文件是

    这样的中文列名,而我需要替换以下列名

    因此就好在替换成功的同时将所有原来的数据变为NaN

    因为如果从read_csv传参names来更改列名就必须要小于等于csv列数

    或者如果只要解决names参数传入的元素少于csv列数dataframe从后抛弃数据这样是否可行?

    (tf) [root@bogon testpd]# cat test.csv

    A,B,C,D,code 1,2,3,4,23 5,6,7,7,234 23,423,4,21,123 (tf) [root@bogon testpd]# python        Python 3.6.6 (default, Aug 13 2018, 18:24:23)  [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import pandas as pd >>> names = ['A','x','C','D','code','xxx','yyy'] >>> opcsv=pd.read_csv('test.csv', header=0, dtype={'code':str}) >>> opcsv     A    B  C   D code 0   1    2  3   4   23 1   5    6  7   7  234 2  23  423  4  21  123 >>> opcsv.columns = names[:len(opcsv.columns)] >>> opcsv     A    x  C   D code 0   1    2  3   4   23 1   5    6  7   7  234 2  23  423  4  21  123 >>>

    我的天,简直不敢相信,这正是我想要得完美结果,请问您是做了理解pandas多深才做到的。能分享一下您是怎么去剖析pandas得到的

    展开全文
  • Linux虚拟环境离线安装python包pandas

    千次阅读 2020-12-03 09:40:01
    在conda的python27虚拟环境里缺少包pandas,pip安装失败,换源之后还是失败。决定离线安装。 参考https://blog.csdn.net/michael2008bj/article/details/50899676 大致步骤如下: 指令进入conda创建的虚拟环境py...

    在conda的python27虚拟环境里缺少包pandas,pip安装失败,换源之后还是失败。决定离线安装。

    参考linux离线搭建Python环境及安装numpy、pandas_michael2008bj的博客-CSDN博客_linux离线安装pandas

    大致步骤如下:

    指令进入conda创建的虚拟环境py27。

    source activate py27

    PyPI · The Python Package Index上找到需要的包,有两种安装方式

    1.tar.gz 文件

    下载gz文件,上传到机器后(这里放到自己定的一个位置即可,不必放到虚拟环境放package的位置),然后指令解压。

    tar -zxvf pandas-0.16.2.tar.gz

     进入解压的文件夹后。

    cd pandas-0.16.2

    指令安装这个包即可。

    python setup.py install

    2.whl文件(更简单,推荐) 

    参考 python离线安装numpy、scipy、sklearn等_韩三宝的博客-CSDN博客_离线安装numpy 

    下载whl文件(注意对应的python和电脑系统的版本)pip install 安装

    #linux版本的安装(默认文件在当前目录下、默认会在当前环境下安装该包)
    pip install numpy-1.15.0-cp27-cp27mu-manylinux1_x86_64.whl
    

    安装pandas需要提前安装几个pandas的依赖,不然会失败。

    numpy
    python-dateutil
    pytz
    numexpr
    bottleneck
    six

    展开全文
  • Linux安装pandas 报错: THESE PACKAGES DO NOT MATCH THE HASHES FROM THE REQUIREMENTS 解决方案: 安装合适版本的pandas pip --default-timeout=100000 install --upgrade pandas
  • linux pandas安装

    2020-12-30 06:53:44
    开箱即用的Numba使用以下方法: 操作系统:Windows(32位和64位),OSX和Linux(32位和64位) 架构:x86,x86_64,ppc64le。在armv7l,armv8l(aarch64)上进行实验。 GPU:Nvidia CUDA。AMD ROC的实验。 CPython的...
  • linux安装numpy,pandas

    2020-12-30 06:53:44
    linux安装pandas,各种坑直接搞到怀疑人生。。晚上查了卸载python的办法,准备第二天去卸载重头开始,还好没搞自己的win10安装的unbutu卸载了自带的python,结果坑更深。各种百度,各种尝试,焦头烂额,茫然四顾。...
  • python安装pandas

    2017-11-10 15:44:36
    python安装pandas python安装pandas python安装pandas python安装pandas
  • 1、在Linux系统中安装pandas时遇到EnviromentError时: pip3 install pandas 失败,遇到: 这样做: pip3 install --user pandas 解决 2、安装numpy sudo -H pip3 install numpy 3、安装matplotlib sudo apt-get...
  • Linux如何安装python pandas科学库

    千次阅读 2019-07-03 11:46:39
    文章目录1 用python-pip安装pandas2 用pycharm安装pandas3 使用anaconda自带的pandas 1 用python-pip安装pandas 首先确认自己的Python版本和pip版本,在终端执行: python --version python3 --version pip --...
  • 10) print (output) zh_fonts = set(f.split(',', 1)[0] for f in output.split('\n')) available = mat_fonts & zh_fonts print ('*' * 10, '可用的字体', '*' * 10) for f in available: print (f) Pandas 中文...
  • import pandas as pd from sqlalchemy.engine import create_engine eg = create_engine('hive2://10.65.144.237:7001/default') pd.read_sql('show tables', eg) python 版本:3.6 该错误是缺失_bz2....
  • 离线安装,具体参考https://blog.csdn.net/weixin_40522580/article/details/115528685
  • 1.安装python2.7.3Cent OS 6.5默认装的有python2.6.6,需要重新安装python2.7.3下载地址:https://www.python.org/downloads/source/解压缩到当前目录:tar -zxvf Python-2.7.3.tgz打开刚解压的文件夹:cd Python-...
  • Python安装numpy和pandas

    千次阅读 2020-12-19 22:01:29
    最近要对一系列数据做同比比较,需要用到numpy和pandas来计算,不过使用Python安装numpy和pandas因为linux环境没有外网遇到了很多问题就记下来了。首要条件,python版本必须是2.7以上。Linux首先安装依赖包yum -y ...
  • Pandas快速入门

    2021-01-14 16:03:26
    这是一个Pandas快速入门教程,主要面向新用户。这里主要是为那些喜欢“短平快”的读者准备的,有兴趣的读者可通过其它教程文章来一步一步地更复杂的应用知识。首先,假设您安装好了Anaconda,现在启动Anaconda开始学...
  • Linux下openMPI,matplotlib,和pandas插件的下载和安装openMPI的下载和安装matlplotlibpandas openMPI的下载和安装 安装: sudo apt-get install libopenmpi-dev openmpi-bin 参考内容:...
  • Pandas库的基本使用 pip安装 Series DataFrame安装pippip是Python的包管理工具,熟悉Linux的朋友应该对包管理工具很熟悉(yum),一些库被集成在了pip中,因此我们需要安装pip(win10)在自定义位置解压pip包使用cmd进入...
  • pandas_datareader-0.6.0

    2018-08-01 22:19:21
    安装pandas-datareader用的,可以用pip直接安装,不会遇到任何奇怪的问题.
  • 我注意到使用基本操作系统...除了Alpine更新和下载构建依赖项以安装Pandas和Numpy的几秒钟之外,为什么setup.py需要比Debian安装多70倍的时间?有没有办法加速使用Alpine作为基本图像的安装,或者是否有另一个与Alpine...
  • python在数据科学方面需要用到的库:a。Numpy:科学计算库。提供矩阵运算的库。b。Pandas:数据分析处理库c。...Scikit-learn:机器学习库安装顺序如下:1.pip install numpy2.pip install pandas3.pip i...
  • pandas python下载

    千次阅读 2020-12-23 05:18:17
    它为用户提供了丰富实用的功能,可以方便查看相应的数据表结构,并快速对数据库进行结构化处理等操作,适用于win、linux等系统平台,小编还为大家整理了Pandas Python的安装和配置方法,有需要的可以参考一下。...
  • 如果你需要一种工具来解决数据科学问题的工具,我推荐你使用Pandas,她是一个高性能,高效率,高水平的数据分析库。当然,本文只是学习笔记,如果你想更好的了解Pandas是什么,以及她如何让你着迷的话,我推...
  • 需求是需要在linux(debian)里运行python程序操作sqlserver读写数据,涉及到数据的读取和写入,这里主要使用pandas进行数据处理。 前提 在运行python程序之前,需要在linux上安装好python和对应的依赖,可以参考以下...
  • 首先,编写Pandas代码并执行各种有趣和有用的操作,必须在其系统上安装Python。这可以按照下面提供的一步一步的指示来完成: 如果Python已经存在呢?让我们查查 若要检查您的设备是否使用Python预装,只需转到...
  • Overview 工欲善其事,必先利其器。...你在下面的这个链接把文件下载下来: http://download.csdn.net/detail/xlinsist/9476799 然后把解压后的文件放到~/.local/share/Zeal/Zeal/docsets这里,重启Zeal就OK了。
  • pandas安装文件

    2016-01-01 23:55:24
    pandas-0.16.0-cp34-none-win_amd64.whl安装包 win7 64位 python3拓展安装包 提示: 安装whl文件方法 1>打开python,在python命令行中输入(如果提示install错误,见2>) pip install ****.whl 2>直接在cmd中输入上面...
  • 今天小编就为大家分享一篇解决pandas 作图无法显示中文的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 我有两个python发行版(python2.7,python3.6),并且我已经安装了pandas和numpy但是无法使用这些是我尝试导入pandas时导致的错误在python 2.7中File"/usr/local/lib/python2.7/dist-packages/pandas/init.py", line ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 18,195
精华内容 7,278
关键字:

linux下载pandas

linux 订阅
友情链接: Marr.zip