精华内容
下载资源
问答
  • 前言小伙伴儿们,我们搭建好远程hadoop集群环境之后,想要在Windows本地idea中写代码直接运行,这样子就不用每次都打jar包上传服务器上去运行。但是有一些同学可能尝试过,有的成功,有的没有成功,本次我就如何...

    0c8bbb6343d1e19475f893ef103cf4f4.png

    前言

    小伙伴儿们,我们搭建好远程hadoop集群环境之后,想要在Windows本地idea中写代码直接运行,这样子就不用每次都打jar包上传到服务器上去运行。但是有一些同学可能尝试过,有的成功,有的没有成功,本次我就如何搭建环境给大家写个文章,希望能解决大家的问题。

    本地搭建hadoop

    本地搭建hadoop环境,去hadoop官网下载hadoop,记得要对应服务器的hadoop版本哦!

    下载完毕之后,解压到本地目录,记得不要解压到C盘,其他的地方都可以。

    比如我就解压到了D盘

    017f8d77886edda6ab741183cb62c42f.png

    然后下载winutils.exe,这个插件一定要下载对应的hadoop版本的才行,我第一次就是因为下载错误了,才导致的,我只能提供一个2.7.3版本的下载地址,如果后面你么有配置对应的版本,一定是不行的,切记,切记,切记,下载对应版本的。

    链接:https://pan.baidu.com/s/11hGqS-8d5fPCaS6-LcgM8g
    提取码:14wv

    c8cc62685cd1d79e5ca01a2422af4626.png

    下载完毕之后,在bin目录下面的文件就是上面的内容了,这个时候把bin下面的hadoop.dll和winutils.exe复制到hadoop的bin目录下面。

    复制完之后,把bin目录下面的hadoop.dll这个文件复制到C:WindowsSystem32 下面,不然会报错,报错内容如下

    Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

    接下来就是配置环境变量

    打开Windows环境变量配置

    HADOOP_HOME=D:hadoop-2.7.3 # 这里配置自己hadoop解压的目录,后面的配置都一样

    33960be4d50213b879ee2ef208d5fe3c.png

    配置完HADOOPHOME之后,配置CLASSPATH

    CLASSPATH=%HADOOP_HOME%binwinutils.exe;

    主要是追加的形式

    然后配置Path

    Path=%HADOOP_HOME%bin

    以上配置在windows都是图像化操作,请自行参考HADOOP_HOME的图形化自行转化操作。

    然后在本地的java目录下面建立resource文件

    讲hadoop的配置文件复制到resource文件下面

    主要复制的有core-site.xml,hdfs-site.xml,log4j.properties,mapred-site.xml,yarn-site.xml

    97aa86cc738e7c17f31ac4dc8c6e8c70.png

    就是图中的几个文件,复制文件的目录在服务器集群的hadoop/etc/hadoop/下面的配置文件,当然了不同版本的hadoop配置文件位置可能不同,请自行发挥。

    配置完之后,更改一下本地的mapred-site.xml文件,把yarn改成local,这个必须要改,否则后面报错

    e043051ed78030d0730bdadc287a21d5.png

    然后这个时候打开代码在代码中添加

    System.setProperty("hadoop.home.dir", "D:hadoop-2.7.3");

    运行代码之后发现:

    7113a228caa042f3baef463547df5439.png

    这个是因为hadoop权限的问题,要在hdfs-site.xml中添加一下内容

    集群服务器中的都要填写

    <property>
            <name>dfs.permissions</name>
            <value>false</value>
        </property>

    然后重启集群。

    后记:

    如果后面还依旧报下面的错误,你尝试把下面下载代码中

     System.load("D:/hadoop-2.7.3/bin/hadoop.dll");

    直接写死地址。

    通过我不断地试错,需要注意的点就三点,第一,下载对应的版本的插件放到hadoop的bin目录下,第二,把hadoop.dll放到C:WindowsSystem32下面,第三,更改配置文件为local。

    如果再有其他的问题,可能要检查自己写的代码是否正确了,或者你可以再下方给我留言,共同学习。

    展开全文
  • feat-wenke是本地分支,需要拉取远程更新后的master主分支 在VS code 编辑器上解决冲突问题 第一步:点击搜索,输入 <<< 第二步:在冲突地方,点击 采用传入的更改即可!!! 第三步,如果更改后,没有...

    先看冲突问题

    命令:git pull origin master

    feat-wenke是本地分支,需要拉取远程更新后的master主分支

    在这里插入图片描述

    在VS code 编辑器上解决冲突问题

    第一步:点击搜索,输入 <<<

    在这里插入图片描述

    第二步:在冲突地方,点击 采用传入的更改即可!!!

    在这里插入图片描述

    第三步,如果更改后,没有重新提交,就拉取又更新的master主分支,这样会出现下面问题

    在这里插入图片描述

    第四步,需要先提交,后拉取即可

    在这里插入图片描述

    展开全文
  • 有的时候我们在Windows下进行python代码的编写和调试,但大部分情况下写好的代码需要放Linux平台上...原理也很好理解:本地和服务器上各放一份代码,实时同步在本地Pycharm将项目的解释器设置为远程服务器上的Py...

    d3b039b9a41672940ca0db3b4a670a75.png

    有的时候我们在Windows下进行python代码的编写和调试,但大部分情况下写好的代码需要放到Linux平台上运行。比如运行一个需要GPU 的项目,个人电脑配置GPU相当的麻烦,而如果可以在本地编写和调试服务器上的python代码,那就很方便了。强大的Pycharm为我们提供了这种功能。原理也很好理解:

    • 本地和服务器上各放一份代码,实时同步
    • 在本地Pycharm将项目的解释器设置为远程服务器上的Python解释器

    使用本地个人电脑pycharm进行远程服务器上代码的实时编写和调试步骤如下:

    1. 将本地python代码上传至服务器(使用远程访问软件,如xftp等),记下各自的文件夹目录,后面会用到
    2. 使用pycharm打开本地的代码,设置当前代码的解释器,文件-设置-项目-Interpreter,点击右上方小齿轮,

    cdf9cf1d7b1229f0dc4c0efbbf965e53.png

    点击add,选择SSH Interpreter

    d59dd05d6b7f5621365cc8e68c473c41.png

    填写远程服务器地址和用户名

    7ba2be87343cf6ab57b398dc367ae2a5.png

    点击Next,填写密码,Key pair这个不用管

    42c222528028b9d08f121849dba06f74.png

    点击Next,设置远程解释器的位置和远程代码的目录(前面第一步的文件夹目录)

    这里说明一下,我使用的是ubuntu服务器,系统自带原生python解释器的位置是/usr/bin/python3,但这里我使用的是我自己安装的python的解释器,这里怎么设置看代码的需要

    b0ef57d554811479e4987f2d217e143e.png

    6af31173e3101767e144940b86c45a06.png

    d3960ee08ce7a51bc368c3ac71e49c37.png

    Remote path的地址一般是/home文件下的你自己设置的用户文件夹

    设置完成之后,出现这个页面不用管

    4e0741b26ae91d56f0ab7e010614c1b5.png

    回到解释器设置页面,这样的就算初步成功了

    d8fb17948e73b461cf1c09a9713abb76.png

    接下来,设置连接方式,

    e056898e5b3a03be3dee48dce073e8dc.png

    show all

    a8e00a428897c8bdfa1cbc4fd4ff09e4.png

    找到刚才设置的远程解释器,点击编辑

    2f2a5eff4cf56066ce46c1b02bffeca4.png

    该填写的填好,记得选择SSH Credentials这个

    296f54235975253e0ce943476e0c0ade.png

    确定即可

    运行代码,看解释器的代码的地址,都已经变成远程的了

    fc71851081e618bd6073a32c62bbe5a0.png

    这个时候使用服务器配置好的环境对代码进行调试也是可以的

    fe2230e3505a99da58d131e095dca955.png

    这样子就大功告成了!!

    后面还可以通过设置的远程解释器连接,查看服务器对应的文件目录和使用命令行登录服务器

    具体在:工具-Deployment-Configuration里面

    c1457849ba207b933ec914b3ab5c615f.png

    更改连接名称和远程目录都是可以的

    c38735cf3a422f954e28d1c400bbc39a.png

    工具-Deployment-Browse Remote Host查看远程目录

    7b18093d402456332d3e7a4828b31ed6.png

    128966599b66120fda5fabcf573925ca.png
    展开全文
  • git拉取远程分支到本地及提交代码到远程git拉取远程分支到本地初始化与远程分支建立连接把分支拉取到本地在本地创建分支test并切换到该分支把远程分支拉取到本地 git拉取远程分支到本地 新建一个空文件,文件名为...

    git拉取远程分支到本地

    新建一个空文件,文件名为gitCode
    

    初始化

    git init
    

    初始化本地仓库

    与远程分支建立连接

    git remote add origin git@gitLab.com:xxxxx.git
    

    远程仓库链接在gitlab可以复制。如下:
    如图复制
    与远端建立连接

    把分支拉取到本地

    git fetch origin test (test 为远程仓库的分支名)
    

    远程分支拉取到本地

    把远程代码拉取到本地

    	git pull origin test
    

    #### 在本地创建分支test并切换到该分支

    git checkout -b test origin/test

    test(本地分支名称)
    origin/test (远程分支名称)

    最后查看本地创建的文件,已经将文件下载好了,OK!!!
    下载好的代码

    查看git状态

    	git status
    

    查看本地git状态

    提交代码到本地仓库

    提交代码

    提交代码到远程git

    	git push origin test
    

    test(远程分支名)

    或者是在编译工具(IDE)上面直接git提交,然后再提交到远程。同上操作。

    引用自: https://blog.csdn.net/carfge/article/details/79691360 非常感谢!

    展开全文
  • git拉取远程项目到本地 git clone http://gitlab.XXX.com/XXX/XXX.git //克隆远程仓库到本地 git提交代码到新分支 从master或其他分支拉了一份代码,做了一些修改,但是不想提交到该分支,想新建一个新分支test...
  • git拉取远程分支到本地 新建一个空文件,文件名可以自定义 初始化:git init 与远程分支建立连接:git remote add origin git@gitLab.com:xxxxx.git (打开gitlab仓库,在clone下复制的地址) 把分支拉取到本地...
  • 工作中遇到的git 拉取代码的问题。 第二种方式可以拉取远程仓库稳定的代码...git 拉取远程主干的代码到本地分支(更新主干master的代码到自己本地仓库的分支上进行开发) git pull origin 远程主分支名:本地分支名 ...
  • 主要介绍了git 拉取远程分支到本地的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
  • git拉取远程分支到本地

    万次阅读 2019-07-18 13:39:46
    工作中用到git拉取远程分支代码到本地,记录一下..... 步骤: 1、新建一个空文件,文件名为hhhh 2、初始化 git init 3、与origin master建立连接(下划线为远程仓库链接) git remote add origingit@g...
  • Git拉取远程分支到本地 拉取分支 首先你得先查看你是否和远端的仓库建立连接。 git remote -v 复制代码如果没有的话那就自行添加一下 git remote add origin xxxx(你远程分支的git仓库地址) 复制代码如果每天要提交...
  • git如何拉取远程代码到本地

    千次阅读 2020-05-08 18:28:54
    1,安装好git后,右键启动Git Bash Here 2,拉取测试环境代码需要连接vpn ...5,把远程仓库的分支代码拉取到本地 命令:git fetch origin develop(develop是远程仓库分支名称) 6,在本地创建分支dv(随便起名)
  • Git拉取远程代码

    2019-08-08 16:37:23
    git 拉取远程代码 在实际项目开发过程中,往往是已经存在远程项目了,我们定义的需求是只需要简单的操作git,能够上传和下拉最新代码。 模拟小白需求: 第一步:拉取远程代码 git clone [URL] 第二步:查看...
  • git 拉取远程代码

    千次阅读 2018-05-07 22:36:05
    模拟小白需求:第一步:拉取远程代码git clone https://github.com/…/PrettyGirls.git 第二步:查看本地分支和远程分支1、cd PrettyGirls 工程目录下; 2、git branch -al 查看本地和远程的所有分...
  • 在团队开发中,git的使用已经很常见了,在多人协同开发中,我们经常会遇到这样的问题:A在本地开发完成后,将代码推送远程,这时候B的本地代码的版本就低于远程代码的版本,这时候B该如何从远程拉取最新的代码,并...
  • Git拉取远程分支代码到本地

    千次阅读 2020-06-02 21:06:26
    新建一个空文件,文件名为mygit ...git checkout -b dev(本地分支名称) origin/dev(远程分支名称) git pull origin dev(远程分支名称) 修改代码然后,,git add . git commit -m “add file” git.
  • 方法一(亲测): 1、新建一个空文件夹: mkdir news 2、进入文件夹并初始化: cd news ...4、把远程分支(假设拉取develop分支)拉到本地 git fetch oringin develop 5、在本地创建分支myD...
  • 1.克隆远程项目到本地 git clone http://IP地址/devops/production-deployment.git #输入用户名和密码 cd production-deployment/ #production-deployment为远程项目名 git branch #默认为master分支 2....
  • #git 拉取远程代码 在实际项目开发过程中,往往是已经存在远程项目了,我们定义的需求是只需要简单的操作git,能够上传和下拉最新代码。 模拟小白需求: 第一步:拉取远程代码 git clone https://github.com/…/...
  • 1、新建一个空文件,文件名为hhhh 2、初始化 git init 3、自己要与origin master建立连接(下划线为...4、把远程分支拉到本地 git fetch origin dev(dev为远程仓库的分支名) 5、在本地创建分支dev并切换到该...
  • 在开发过程中,我们需要创建不同的分支进行开发。但也遇到了不同的问题~ ...git checkout -b dev //创建分支dev并切该分支 上述代码等同于 gitbranchdev git checkout dev 这样你就创建了本地分支。但是在...
  • 第一步:拉取远程代码01第二步:查看本地分支和远程分支1、cd PrettyGirls 工程目录下;2、git branch -al 查看本地和远程的所有分支。02.png这里成功看到了所有的分支:其中master是本地分支,前面的星号*表示...
  • 这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、...
  • 很多时候我们写的一些程序或工具没想过推送到远程服务器,过段时间后由于各种考虑想在远程备份或管理代码,在本地存在代码的情况我们是怎样推送到远程Git呢?1,先在github,gitlab或其他远程Git服务器中创建空项目...
  • git checkout -b 本地要的分支名 origin/远程分支的名字 当项目比较久没拉取代码时会报如下的错误: 在这个时候你就需要先pull一下更新下git 的相关信心 git pull 然后在重新 git checkout -b feature/V1.3.0...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,440
精华内容 576
关键字:

git拉取远程代码到本地