前言
1.本文使用的是mysql8.0版本
与5.0版本相比:导包方式相同,后面代码中的注册驱动方式不同
1.mac与pc的idea菜单和图标不是完全相同,但是步骤是差不多的
下载对应版本的jar包
点击上面链接,到官网下载jar包
下载后解压即可得到该版本jar包
将jar包在本地放入单独一个文件夹
我将这个jar包放入myjar文件夹,等下直接将这个文件夹导入idea.
这样做的好处是,以后再使用其它jar包时,直接放到这个文件夹就好,不需要再一个一个导入
将jar包所在文件夹导入idea 打开 project structure
将jar包文件夹以libraries的方式导入
新建module, 在modules中"绑定"jar包
到此这篇关于jdbc-idea导入mysql连接java的jar包(mac)的文章就介绍到这了,更多相关idea导入mysql连接java的jar包内容请搜索萬仟网以前的文章或继续浏览下面的相关文章希望大家以后多多支持萬仟网！
如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！

IDEA如何将外部第三方引入的JAR，在MAVEN项目怎么把jar包放到lib文件夹里

选中你要导入的包
右键选中Open Library Settings


右键选中你所要导入的包，然后选择Move to…
选中复选框，然后手动创建lib文件夹用于给项目存储jar包，然后点击OK，这样的话jar就存储到项目之中。

场景一
idea下载依赖时异常中断导致依赖不完整，第二次启动idea时依赖无论怎么导入都报错。
解决方法
1.查看报错的依赖



2.在maven仓库找到报错的包，删除对应的版本（或整个包的文件夹都删除）。



3.在maven仓库搜索.lastUpdated，删除依赖对应的配置文件，让idea重新下载



4.重启idea（File——Invalidate and Restart）



5.如果重启后没有显示正在导入依赖，则找到pom文件，右键Reimport





注意：

如果这时idea右侧依赖还是显示报红，可以不用理睬，直接运行项目，能运行则说明导入依赖成功。这时idea依赖报红算是一个bug，可以看场景二解决方法。
场景二
项目正常运行，idea依赖却报红。


解决方法
1.进入Settings，搜索Maven，将默认maven配置修改为自己的maven配置，将默认maven仓库修改成自己的maven仓库。



2.运行项目，一切正常，idea右侧依赖也没有再报错。



3.最后，如果想让本次配置在以后每次创建项目都生效，可以设置默认配置（Other Settings，有的idea版本可能不是此路径），配置方法同第一步。

一直想搞清楚spark读取不同数据源时的分区是怎么决定的，趁着国庆有时间终于下决心来做这个事。关于这个分区数，很多说法，最后决定自己看下源码，也算是接触spark源码的第一步吧。挺多坑，零零散散花了2天多的时间，总算跑通spark源码里面的example了。mark一下。

一、spark源码包下载&解压
spark下载传送门（可能需要翻墙）



下载完，拷贝到自己想放的目录，双击即可解压得到项目文件夹。
二、安装maven&scala
2.1、 先到刚刚解压出来的spark源码根目录，打开pom.xml文件看下maven和scala的版本，安装对应的版本。

scala - 2.11.12

maven - 3.5.4





2.2、安装好后，使用命令查看版本

maven的安装注意将源修改成阿里云的源，不然会慢到怀疑人生…



到这里编译前的准备工作就完成了
三、编译
peterpan@PeterdeMBP ~ % cd Documents/work/projects/idea/spark-2.4.7
peterpan@PeterdeMBP spark-2.4.7 % pwd
/Users/peterpan/Documents/work/projects/idea/spark-2.4.7
peterpan@PeterdeMBP spark-2.4.7 % mvn -T 4 -DskipTests clean package
peterpan@PeterdeMBP spark-2.4.7 %
peterpan@PeterdeMBP spark-2.4.7 %
...
...
...
# after 30-60分钟
...
[INFO] 
[INFO] --- maven-source-plugin:3.0.1:jar-no-fork (create-source-jar) @ spark-examples_2.11 ---
[INFO] Building jar: /Users/peterpan/Documents/work/projects/idea/spark-2.4.7/examples/target/spark-examples_2.11-2.4.7-sources.jar
[INFO] 
[INFO] --- maven-source-plugin:3.0.1:test-jar-no-fork (create-source-jar) @ spark-examples_2.11 ---
[INFO] Building jar: /Users/peterpan/Documents/work/projects/idea/spark-2.4.7/examples/target/spark-examples_2.11-2.4.7-test-sources.jar
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Spark Project Parent POM 2.4.7 ..................... SUCCESS [  2.603 s]
[INFO] Spark Project Tags ................................. SUCCESS [  5.171 s]
[INFO] Spark Project Sketch ............................... SUCCESS [ 13.367 s]
[INFO] Spark Project Local DB ............................. SUCCESS [  6.400 s]
[INFO] Spark Project Networking ........................... SUCCESS [ 10.813 s]
[INFO] Spark Project Shuffle Streaming Service ............ SUCCESS [  6.643 s]
[INFO] Spark Project Unsafe ............................... SUCCESS [ 19.661 s]
[INFO] Spark Project Launcher ............................. SUCCESS [ 10.826 s]
[INFO] Spark Project Core ................................. SUCCESS [02:59 min]
[INFO] Spark Project ML Local Library ..................... SUCCESS [ 32.702 s]
[INFO] Spark Project GraphX ............................... SUCCESS [01:19 min]
[INFO] Spark Project Streaming ............................ SUCCESS [02:24 min]
[INFO] Spark Project Catalyst ............................. SUCCESS [04:15 min]
[INFO] Spark Project SQL .................................. SUCCESS [03:46 min]
[INFO] Spark Project ML Library ........................... SUCCESS [04:41 min]
[INFO] Spark Project Tools ................................ SUCCESS [  5.573 s]
[INFO] Spark Project Hive ................................. SUCCESS [03:16 min]
[INFO] Spark Project REPL ................................. SUCCESS [ 29.623 s]
[INFO] Spark Project Assembly ............................. SUCCESS [  5.777 s]
[INFO] Spark Integration for Kafka 0.10 ................... SUCCESS [ 52.390 s]
[INFO] Kafka 0.10+ Source for Structured Streaming ........ SUCCESS [01:44 min]
[INFO] Spark Project Examples ............................. SUCCESS [ 49.188 s]
[INFO] Spark Integration for Kafka 0.10 Assembly .......... SUCCESS [  8.700 s]
[INFO] Spark Avro 2.4.7 ................................... SUCCESS [01:14 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 17:01 min (Wall Clock)
[INFO] Finished at: 2020-10-05T19:08:05+08:00
[INFO] ------------------------------------------------------------------------
peterpan@PeterdeMBP spark-2.4.7 % 


四、导入idea
4.1、编译完成后，导入idea，

【open or import】 >>  {spark-2.4.7}/pom.xml >> Open as Project





五、修改配置
5.1、将idea默认的maven改成上面安装的maven路径

【Preferences】 >> 【Build,Execution,Deployment】 >> 【Build Tools】 >> 【Maven】



5.2、设置一些执行参数

【Add Configuration】>> 【+】 >> 【Application 】



5.3、运行测试类【JavaWordCount】 &&  报错



六、报错解决
6.1、跟spark相关的【java.lang.ClassNotFoundException】，原因都是example module中pom.xml spark的依赖scope是provided。

粗暴的方法：

【<scope>provided</scope> 】替换为【<!–<scope>provided</scope>–>】



6.2、这个报错仍是example module 中 pom.xml provided的问题

hadoop.deps.scope 设置为compile

hive.deps.scope 设置为compile

parquet.deps.scope 设置为compile

ps. 设置为compile等同于注释掉scope，因为默认是compile





6.3、这个也是provide的问题，但不在example module。而是在根目录的pom.xml

将根目录中pom.xml的guava对应的scope设置为compile





6.4、这个也是provide的问题，但不在example module。而是在根目录的pom.xml

在根目录pom.xml 将 org.eclipse.jetty 对应的provided改为compile





6.5、报错跟scala相关的类 Not Found

【File】>> 【Project Structure】>> 【global libraries】 >> 【+】 >> 【选择scala版本】 >> 【右键】>> 【scala add to modules】>> 【spark-example_2.11】



6.6、成功跑通，后面



6.7、可以debug，后续就可以随意查看各段代码的值，离了解spark分区数又近了一步



环境问题总是各种各样的坑，如果遇到其他报错，可以留言一起研究。