精华内容
下载资源
问答
  • Python和Java,是大数据行业最常见的两种编程语言,对于想转行大数据的人人来说,学习哪个语言是比较的选择呢?PythonPython和大数据:Python本身的特点是高效率的开发和简单的维护,大数据运维领域也在普遍采用...

    Python和Java,是大数据行业最常见的两种编程语言,对于想转行大数据的人人来说,学习哪个语言是比较好的选择呢?

    Python

    Python和大数据:

    Python本身的特点是高效率的开发和简单的维护,大数据运维领域也在普遍采用Python语言来编写管理脚本;Python语言目前在大数据和人工智能领域有广泛的应用,在数据科学领域,尤其是在深度学习领域,Python是常见的选择。

    如果要往大数据分析和大数据运维领域发展,可重点学习Python语言,在这两个领域的应用是比较普遍的。

    Python常用于:

    Python主要用于web数据分析,科学计算,金融分析,图像算法,数学计算,统计分析,算法建模,服务器运维,自动化操作,适合快速开发团队或个人敏捷模式。除了在大数据和数据科学领域,在web前端开发等领域也有广泛应用。

    Python:数据分析,人工智能,web开发,测试,运维,web安全

    Python学习难度:

    从语言的适用性看,Python号称“胶水语言”,可以作为一个中间处理模块的代码把其他代码“粘合”在一个工程里面,从而快速的部署和实施。

    从学习难易度来看,对于初学者,Python更易入门,Python语法简捷而清晰,对底层做了很好的封装,是一种很容易上手的高级语言。

    Python发展前景:

    Python在国外应用相对成熟,在国内还处于起步阶段,近几年,随着人工智能、机器学习、大数据以及云计算的兴起,Python市场人才紧缺,就业形势和薪资待遇在IT行业靠前,未来发展空间也很好。

    Java

    Java和大数据:

    Java与大数据的关系非常密切,目前做大数据开发的程序员很多都是从Java程序员转过去的,Hadoop平台本身就是基于Java开发的。大数据开发在Spark平台下,很多程序员更愿意使用Scala语言,而Scala就是基于Java语言构建的。

    如果选择往大数据开发方向发展,可以重点学习Java,理解Java能够更好地与Hadoop平台进行交互,能有更多的思路。目前大部分做大数据开发的工程师都有过Java开发的经历,Java开发的案例丰富且稳定。

    Java常用于:

    Java语言应用广泛,可以应用的领域也非常多,有完整的生态体系,另外Java语言的性能也非常不错。Java主要用于商业逻辑强的领域,如商城系统,erp,金融,保险等传统数据库事务领域,通过类似ssh框架事务代码,对商业数据库,如oralce,,sql server等支持较好,软件工程理念较强,适合软件工程式的多人开发模式。

    Java:web开发,大数据开发,安卓开发,服务器开发, 桌面开发,游戏开发

    Java学习难度:

    Java相比于Python,资历更老,市场需求量大,应用更广泛,是一门很持久的编程语言,更稳定。作为编程语言的元老,Java编程较Python复杂,Java市场已经十分完善,对于Java开发人员的技能要求更高。

    如果转行大数据开发,Java和Python最好都学习一下(主学Java),做大数据开发多掌握几门语言能让你在开发的时候更从容。尤其是掌握Java语言,会让你在解决很多系统级问题时有较强的自信。加米谷大数据培训。

    Java发展前景:

    Java在互联网方向的应用非常多,目前采用Java开发互联网网站及应用的IT企业很多,这增加了Java开发工程师的需求。未来将是大数据,人工智能爆发的时代,大数据又和人工智能息息相关,将会有大量的企业需要借助大数据,而Java是和大数据最密切的编程。

    展开全文
  • 大数据java开发对比分析 一、现状 1、java是编程语言,目前来看还是有一定优势的。但每年新增的海量java程序员让这个行业开始臃肿起来,已经出现人才溢出状态。 2、大数据经过2016/2017年的高曝光,2018年开始...

    从大数据和Java技术本身的关系来说,完全可以兼顾学习。Java作为一门编程语言,可以用来做很多工作,大数据开发属于其中一种。

     

    大数据和java开发对比分析

    一、现状

    1、java是编程语言,目前来看还是有一定优势的。但每年新增的海量java程序员让这个行业开始臃肿起来,已经出现人才溢出状态。

    2、大数据经过2016/2017年的高曝光,2018年开始进入大数据年,各大中小企业开始大数据部门,人才缺口不断增大。

    二、未来

    1、java是编程语言,未来会不会有更优秀的编程语言取代其主导地位,并不好说。

    2、大数据的应用范围广,不但覆盖全行业,还将影响一些机构机关。被人们最为看好的人工智能也需要大数据的支持,离开大数据人工智能将无法智能。

    综上所述:java目前算是主流,可以多学几门语言,技多不压身,百利而无一害对于开发;大数据的这个方向,不会消失,只会随着技术的发展更加智慧性。所以从未来发展的趋势来看,产业互联网将是一个重要的发展方向,产业互联网的核心技术包括物联网、大数据、人工智能等相关技术,因此学习大数据相关技术是个不错的选择。

    大数据和java开发的发展前景怎么样

    Java的发展方向:

    Web开发、大数据开发、安卓开发、服务器开发等等。

    Java的就业情况:

    Java作为传统的编程语言之一,市场常青,常年都有新人加入,这几年的发展之后,初级岗位趋于饱和,供大于求,竞争稍显惨烈。

    Java开发薪资:

    有经验的Java开发,薪资在10-30K的为普遍情况,初级岗位5、6K的也不在少数。

    大数据的就业方向:

    大数据开发、数据分析、数据挖掘、大数据算法、数据架构等。

    大数据的薪资状况:

    大数据相关职位的平均薪资已经超过月薪20K,初级入门的大数据开发,薪资也都在8K以上。

    大数据应用行业领域:

    营销、金融、工业、医疗、教育、交通、智慧生活、执法、体育、政府、旅游等等,大数据是真正的覆盖全行业,越往后发展,数据的重要性会更加受到重视,可以说未来所有的行业都需要大数据的支撑。

    (本文来源:http://www.weidianyuedu.com/,文章已做删减修改,版权归原作者所有。)

    展开全文
  • 但是,一直做Java开发好不好呢? 当然这个仁者见仁,智者见智。鄙人之见,Java开发适合开始的工作方向,但是后期如果想有更好的发展最好还是往对数学要求高的方向转,比如人工智能、区块链、大数据等。为什么?因为...
  • 大数据基础入门第一节:为什么要学习大数据1、目的:很工作2、对比:Java开发大数据开发第二节:什么是大数据?举例:1、商品推荐: 问题:(1)大量的订单如何存储? (2)大量的订单如何计算?2、天气...

    b49152b807b1c1890086b66761fb616f.png

    fe4718dbc63864b3e976e0327b9cf46a.png

    加入群聊【大数据学习交流群】:对于小白学习大数据需要注意的点有很多,但无论如何,既然你选择了进入大数据行业,那么便只顾风雨兼程。正所谓不忘初心、方得始终,学习大数据你最需要的还是一颗持之以恒的心。

    d3790242aee013ff222974c280439e18.png

    大数据基础入门

    第一节:为什么要学习大数据

    1、目的:很好工作

    2、对比:Java开发和大数据开发

    第二节:什么是大数据?

    举例:

    1、商品推荐: 问题:(1)大量的订单如何存储? (2)大量的订单如何计算?

    2、天气预报: 问题:(1)大量的天气数据如何存储?(2)大量的天气数据如何计算?

    什么是大数据,本质?

    (1)数据的存储:分布式文件系统(分布式存储)

    (2)数据的计算:分布式计算

    第三节:Java和大数据是什么关系?

    1、Hadoop:基于Java语言开发

    2、Spark: 基于Scala语言,Scala基于Java语言

    第四节:学习大数据需要的基础和路线

    1、学习大数据需要的基础:Java基础(JavaSE)---> 类、继承、I/O、反射、泛型*****

    Linux基础(Linux的操作) ---> 创建文件、目录、vi编辑器***

    2、学习路线:

    (1)Java基础和Linux基础

    (2)Hadoop的学习:体系结构、原理、编程

    (*)第一阶段:HDFS、MapReduce、HBase(NoSQL数据库)

    (*)第二阶段:数据分析引擎 ---> Hive、Pig

    数据采集引擎 ---> Sqoop、Flume

    (*)第三阶段:HUE:Web管理工具

    ZooKeeper:实现Hadoop的HA

    Oozie: 工作流引擎

    (3)Spark的学习

    (*)第一个阶段:Scala编程语言

    (*)第二个阶段:Spark Core-----> 基于内存,数据的计算

    (*)第三个阶段:Spark SQL -----> 类似Oracle中的SQL语句

    (*)第四个阶段:Spark Streaming ---> 进行实时计算(流式计算):比如:自来水厂

    (4)Apache Storm:类似Spark Streaming ---> 进行实时计算(流式计算):比如:自来水厂

    (*)NoSQL:Redis基于内存的数据库

    (5)Flink 最近很火的实时计算框架。

    展开全文
  • 做大数据开发,目前主要语言还是java和scala,但python由于在算法方向的广泛应用,一些公司为了降低内部开发和维护成本,会直接统一开发语言为python,而且主流的hadoop,spark,包括flink都有比较完善的python支持...

    大数据开发之Django简单接口开发

    背景

    1. 做大数据开发,目前主要语言还是java和scala,但python由于在算法方向的广泛应用,一些公司为了降低内部开发和维护成本,会直接统一开发语言为python,而且主流的hadoop,spark,包括flink都有比较完善的python支持了。
    2. 大数据团队一般职责最简化来说就是ETL,很多时候分工,直接把数据处理好治好,等待下游环节消费即可。但有时候也需要提供api接口,方便下游环节甚至外部访问。
    3. java语言下,很多时候直接spring就可以搞定这类需求,python环境下, Django就是一个很不错的web开发框架。(注意由于前后端分离趋势,目前spring,Django等框架一般都不会用来做web网页开发,而是单纯的api接口开发了)

    步骤

    1. 环境准备

    1. python3,我这里直接使用python 3.8(可以使用anaconda来设置多个python环境)
    2. Django,1.11.29版本(https://www.djangoproject.com/download/,这是官方下载渠道,也可以使用pip安装。 )
    3. macos,11.1版本

    2. 步骤

    1. 安装

    1. Django,这里直接下载后,放到想要的安装目录下,解压缩,然后执行:
    python setup.py install
    
    1. 如果希望和pip安装一样,则将Django安装包解压缩后,放到和python安装目录一样的根目录下,这样执行上述指令后,Django就会进去python的site-packages目录下。
    2. 如果以pip安装,则会安装到当前系统中python版本的site-packages目录下。
    # 查看python版本
    which python
    
    1. 如果以anaconda管理python版本,记得使用
    conda env list
    source activate xxx
    

    来使得python环境切换和生效

    2. 创建Django项目

    1. cd到Django的目录下,具体可以参考
      在这里插入图片描述
    2. 执行一下脚本命令,testdj就是项目名
    django-admin.py startproject testdj
    
    1. cd到创建的项目目录下
    2. 执行命令
    python manage.py runserver
    

    这时候会有如下日志显示:

    Starting development server at http://127.0.0.1:8000/
    Quit the server with CONTROL-C.

    3. 开发简单接口

    1. 因为Django其实和spring一样,都是基于mvc架构,也就是把控制,view视图,模型分隔开,这样可以让接口和web开发逻辑更好分割开。不过这里只是用来开发简单接口,所以暂时没有遵循,实际和java的spring框架类似,大家实际企业开发时一定注意。
    2. 在工程目录下的工程名目录下,创建一个views.py的文件
      在这里插入图片描述
    # -*- coding: utf-8 -*-
     
    from django.http import JsonResponse
    from django.views.decorators.csrf import csrf_exempt
     
     # csrf_exempt 这是为了做跨域请求的处理,否则会因为跨域权限问题,请求报403权限错误问题
    @csrf_exempt
    def test_api(request):
     # 这里直接就是返回一个json的字符串,注意test_api就是后面请求时的path路径
     return JsonResponse({"result": 0, "msg": "执行成功"})
    
    1. urls.py 的文件中做修改
    """testdj URL Configuration
    
    The `urlpatterns` list routes URLs to views. For more information please see:
        https://docs.djangoproject.com/en/1.11/topics/http/urls/
    Examples:
    Function views
        1. Add an import:  from my_app import views
        2. Add a URL to urlpatterns:  url(r'^$', views.home, name='home')
    Class-based views
        1. Add an import:  from other_app.views import Home
        2. Add a URL to urlpatterns:  url(r'^$', Home.as_view(), name='home')
    Including another URLconf
        1. Import the include() function: from django.conf.urls import url, include
        2. Add a URL to urlpatterns:  url(r'^blog/', include('blog.urls'))
    """
    
    
    from django.conf.urls import url
    from django.contrib import admin
    from testdj import views
    
    urlpatterns = [
        url(r'^admin/', admin.site.urls),
        url('^test_api/', views.test_api), # 这里其实就是路由查找的设置,这里就是通过一个正则匹配,让test_api的path去找到views.test_api的处理方法中去
    ]
    
    1. 打开本地的网页浏览器,输入:http://127.0.0.1:8000/test_api/
      显示如下:
      在这里插入图片描述
      (注意,这里安装了chrome的jsonview插件,所以查看json会比较整齐一些,本质还是json字符串而已)

    总结

    1. 如果只是到这里,那么在内网中开发一个最简化的Django接口已经实现,但注意这里没有提及部署,没有做负载均衡等策略。所以可以使用,但距离实际生产还有上述问题待解决
    2. 上述案例在实际中,并不完善,例如应用分离,mvc规范等。一个复杂的大数据对外接口项目,可能会划分很多个模块,这时候就需要在路由层那里做app切割,然后再去不同的app中对path做划分。可以看作是maven的子项目和父项目嵌套,也可以看作是后台接口的模块划分。一样的道理
    3. mvc规范,上述其实并没有严格遵守,包括get,post以及权限验证,以及https规则设置等等。如果涉及外网访问,还会有一个域名和ip映射解析以及负载均衡处理的过程,如果只是内网使用,没有太多并发,则算是ok的了。
    4. python新手,边学边摸索,对比java经验来学习Django,如有错漏,欢迎指正😄
    展开全文
  • java大数据的处理

    万次阅读 2018-01-08 17:41:06
    最近了一个项目,数据量每次处理在两百万左右,这里记录一下最近开发时处理大量数据的思路,主要思路是将大数据化小,多次处理,不足之处还请指出。 文件读取:首先是一个文件上传,数据入库,10-200万条不等,...
  • 上篇文章讲解了传统数据库的一些设计注意点。本篇为第二篇,在大数据量的...为什么,还是那句话,数据查询,迁移,排序的时候,有着天然的一些优势。唯一标识这个标识无论是token,还是其他例如订单的订单号或者其...
  • 上篇文章讲解了传统数据库的一些设计注意点。本篇为第二篇,在大数据量的...为什么,还是那句话,数据查询,迁移,排序的时候,有着天然的一些优势。唯一标识这个标识无论是token,还是其他例如订单的订单号或者其...
  • 对于很多想进入IT行业的学员来说,不知道学习编程语言是python好还是java好?在考虑学习什么编程语言之前,我们应该注意的是自己将来想从事什么职业,想什么工作,如此才能帮你更好的确定未来的方向。1、我们来看...
  • python和java学哪个

    2020-09-09 16:14:54
    首先对人工智能、深度学习这些有浓厚的兴趣就去学Python,单纯为了就业的话不管是web还是软件开发,或者是移动开发都建议Java。但是如果你学会Python了,你去个互联网公司的运营什么的,也是很吃香的,因为你会...
  • 大数据、算法项目在任何大厂无论是面试还是工作运用都是非常广泛的,我们精选了50个百度、腾讯、阿里等大厂的大数据、算法落地经验甩给大家,千万不要收藏党哦,空闲时间记得随时看看! 如果你没有大厂项目经验,...
  • 想转行做开发了!

    2016-03-02 10:29:00
    原因: 1,不想现在所谓的测试了,实在是没什么技术含量,虽然工作清闲,单位生活也很光鲜,但是感觉... 3,问了一些大学同学(大部分都是开发),高中同学(两三个关系点的,也在做开发),退后推荐我学java...
  • 人工智能之前,90%的人都没能给自己定位

    万次阅读 多人点赞 2017-10-31 00:00:00
    本文来自作者 章华燕 在 GitChat 上分享「转行 ...就在笔者还在读研的时候,大家都在议论:Java 还是 C++ 更就业的问题、移动互联网时代正在到来、安卓还是 iOS 开发,当然也有更前沿的大数据
  • JeecgBoot :一款基于代码生成器的 JAVA 快速开发平台,开源界“小普元”超越传统商业企业级开发平台! zuihou-admin-cloud :基于SpringCloud(Hoxton.SR7) + SpringBoot(2.2.9.RELEASE) 的 SaaS 型微服务快速开发...
  • 一个的存储大数据的一个工具 很多场景下,都需要使用Java来操作这个工具。 这个项目,就来学习这个工具。 Guava Guava google的一个通用的工具jar 里面有很多东西 实际使用的,估计是整个jar的冰山一角...
  • Java 还是大数据,你需要了解这些东西! 其他 贡献者 你可以点此链接查看JavaGuide的所有贡献者。 感谢你们让 JavaGuide 变得更!如果你们来到武汉一定要找我,我请你们吃饭玩耍。 悄悄话:JavaGuide 会不定时...
  • Java 还是大数据,你需要了解这些东西! 其他 贡献者 你可以点此链接查看JavaGuide的所有贡献者。 感谢你们让 JavaGuide 变得更!如果你们来到武汉一定要找我,我请你们吃饭玩耍。 悄悄话:JavaGuide 会不定时...
  • 为此,我也将这面经整理出来分享给每位程序员(媛)朋友一个参考,可知“HUAWEI”在Java开发工程师招聘中有哪些技术性考察和倾向! 大数据、算法项目在任何大厂无论是面试还是工作运用都是非常广泛的,我们精选了...
  • 4、数据分析方向(不管是大数据还是智能数据,目前都走在互联网行业发展的前沿)5、人工智能方向(目前互联网行业发展的首选,未来也具有非常不错的发展前景)零基础Python开发方向之后应该如何学习?想要学好Python...
  • 导读(老蒙):Presto 是当下比较流行的即席查询引擎,相比另一个相似的引擎 Impala ,Presto 是 Java 开发的,拥有更的社区资源(毕竟做大数据的都喜欢用 Java)。这篇文章比较基础,对 Presto 做了一个基本的讲解,...
  • Java 还是大数据,你需要了解这些东西! 其他 贡献者 你可以点此链接查看JavaGuide的所有贡献者。 感谢你们让 JavaGuide 变得更!如果你们来到武汉一定要找我,我请你们吃饭玩耍。 悄悄话:JavaGuide 会不定时...
  • 三菱PLC上传文件,我举几个例子,比如说PHP这个语言,它比较适合外部开发java它适合安卓、大数据,或者是我们的java EE,C和C++它比较适合底层开发,比如说像游戏引擎、系统软件,你再比如说汇编语言适合...
  • 写在2015年末

    2015-12-31 23:54:37
    工作的方向依然没有变,做java web开发。业余时间接触了大数据领域的一些技术,掌握的比较浅显,依然在沉淀中。为2015年点赞!2016年计划: 进军大数据领域 英语学习有一个明确的计划 养成5个习惯 减掉15斤
  •  已经在一家外包公司C语言开发两年了,看着外面的大世界,java,javascript, python ,大数据,云,觉得自己远远不足。  想再去学习一门新语言,可是自己还是想考研。时间啊,大学浪费了,毕业后再争取回来真心...
  • jdk源码系列(前言)

    2020-03-16 15:27:32
    前言 正文 2018,2019 年这两年我接触了我一直都想接触的大数据项目,和物联网项目,并且参与了核心开发。...微服务我个人感觉还点,于是我回想下我16年到现在,相对于一个Java程序元来说,掌握...
  •     我主要的工作方向为:服务端(后端),大数据开发以及C++/Java开发。最终获得了包括百度,阿里,京东在内许多大厂的SP/SSP Offer。目前我们部门还有21届补招,因此我一直在收简历,看简历,筛简历以及面试的...
  • 如果想大型java项目,框架是少不了的,使用框架可以节省开发时间,提升开发效率。 3.1 Spring java框架最最最流行的就是Spring了。可以说Spring统治了java的大部分江山。说起来Spring还是以EJB的替代品出现的,它...
  • IntelliJ IDEA Java开发利器 我要进大厂系列 程序员的故事系列 侃天侃地侃互联网热点 学习资源网站列表汇总 关于JavaMap开源项目 资料下载 关于我 学Java有哪些热门就业方向? 在介绍 Java 怎么学之前我给大家...
  • 消息队列之推还是拉,RocketMQ 和 Kafka是如何的? 数据库 MySQL 索引、锁机制 事务特性、隔离级别 你怎么连模糊匹配like %%怎么优化都不知道 MySQL调优 国庆肝了8天整整2W字的数据库知识点 MySQL索引凭什么让...

空空如也

空空如也

1 2 3 4
收藏数 63
精华内容 25
关键字:

做java开发好还是做大数据好

java 订阅