一 、股票代码获取
最近入坑股市，摸爬滚打，只觉得自己长高了一茬，依旧是韭菜被无情收割呜呜呜呜，因此想了想弄个，所有股票的数据来看下资金动向，类似于龙虎板但是跨度大些。
从网上看了些资源发现并没有自己想要的，最好的一个也是多个文件拆分开的而且没有相应股票的代码，所以我弄了个EXCEL整合版本。
首先我们从http://quote.eastmoney.com/stock_list.html获取相应股票：
方法一：
CTRL+C 以及CTRL+V 也就是我们常说的CV工程师，复制下到EXCEL然后进行下数据处理 处理干净放到TXT里面为后面的股票信息做准备。
方法二：
多次从这个网页元素获取股票代码，发现股票代码抓取不全，可以推测该网页可能是异步加载，就是说不进行翻滚网页情况下数据获取是不全面的，因此需要用到 Python 使用selenium+webdriver爬取动态网页内容这篇文章已经写得很详细了
如果想了解相关的静态网页获取数据的方法以及解析过程可以看我之前写的Python爬取百度搜索的标题和真实URL的代码和详细解析
获取股票的代码如下：

from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
import csv
import os

file=r'C:\Users\xxp\.spyder-py3\testcode\test\stock_data.csv'#生成文件路径

def data_write_csv(file, datas):#file为写入CSV文件的路径，datas为要写入数据列表
    with open(file,'a+',encoding='utf-8-sig',newline='') as f:
        writer  = csv.writer(f)
        for data in datas:
            writer.writerow(data)
    print("保存文件成功，处理结束")

def get_info():

    total_title=[]
    total_content=[]
    total_info=[]
    url = 'http://quote.eastmoney.com/stock_list.html'
    #r = s.get(url=url)
    #r.encoding = 'GBK'
    driver = webdriver.Chrome()
    r = driver.get(url)
    
    soup = BeautifulSoup(driver.page_source, 'html.parser')
    #print(soup)
    for n in range(0,7500,2500):
        driver.execute_script('window.scrollBy(0,'+ str(n) +')')#进行页面翻滚
        for so in soup.select('#quotesearch ul a'):
            #print(so)
            g_title = so.get('href')
            #print(g_title)
            #print(g_title)
            g_content=so.get_text().strip()#根据分析标题无对应标签 只能获取标签内文字 去掉换行和空格
            #print(g_content)
            #print(g_title,g_content)
            total_title +=[g_title]
            total_content +=[g_content] 
        # print (total_title)
        # print (total_content)
        total_info=zip(total_title,total_content)#合并
        print (total_info)
        if os.path.exists(file): #文件检测 
            data_write_csv(file,total_info)# 进行excel写入
                         
        else: #文件不存在就创建
            df=pd.DataFrame(data=total_info,columns=['title','内容'])
            df.to_csv(file,index=False,encoding='utf_8_sig')
            print ('文件创建成功')

if __name__ == '__main__':
        get_info()

上面部分代码因网页被修改已失效，已下面部分为准，下面URL已删除部分无用数据

import requests
import pandas as pd
import time
import json
import os	
import csv
import numpy as np


file=r'D:\Users\xinpengxu\Desktop\stock_data.csv'#生成文件路径
filename=r'D:\Users\xinpengxu\Desktop'



def get_json(url):  # 获取JSON
    try:
        r=requests.get(url)  # 抓取网页返回json信息
        r.raise_for_status()
        r.encoding = 'utf-8'
        #print(r.json())
        #with open(r"C:\Users\xxp\.spyder-py3\testcode\tmp.txt", "w") as fp:
            #fp.write(json.dumps(r.json(),indent=4,ensure_ascii=False)) # txt测试是否成功获取网页
        return r.json()
    except:
        return 'false'
          


def get_stock_info(result):  # 获取某个股票的信息 result 为dict类型
        items_all=[]
        items_finish=[]
        #"序号	代码	名称	相关链接	最新价	涨跌幅	涨跌额	成交量(手)	成交额	振幅	最高	最低	今开	昨收	量比	换手率	市盈率(动态)	市净率\n"
        all_name= result.get("data").get("diff") #list类型
        for i in range(0,len(all_name)-1): #数组长度限定30交易日内数据
           item = all_name[i] #获取数据 dict类型
           items_all+=[item['f12'],item['f14']]
           
        for i in range(0, len(items_all), 2):#转成二维数组
            items_finish.append(items_all[i:i+2])   
        #print(items_finish[1])
        #下述注释部分为方法二 也可以取得数据 方法主要是为了后续我做数据库存写操作方便些
        # if os.path.exists(filename):#文件路径检测
        #     #print("path exists")
        #     df=pd.DataFrame(data=all_name,columns=['f12','f14'])
        #     df['f12'] = '#' + df['f12'] #防止0在保存时候被去除
        #     df.to_csv(file,index=False,encoding='utf_8_sig')
        #     print ('文件创建成功')
        # else:
        #     os.makedirs(filename)
        #     print('create path success')
        # return ''
        if os.path.exists(filename):#文件路径检测
            #print("path exists")
            df=pd.DataFrame(data=items_finish,columns=['code','name'])
            df['code'] = '#' + df['code'] #防止0在保存时候被去除
            df.to_csv(file,index=False,encoding='utf_8_sig')
            print ('文件创建成功')
        else:
            os.makedirs(filename)
            print('create path success')
        return ''


   
   
def main():
    url = 'http://31.push2.eastmoney.com/api/qt/clist/get?pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&fid=f3&fs=m:0+t:6,m:0+t:13,m:0+t:80,m:1+t:2,m:1+t:23&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152'# 1591683995 为时间戳 
    #此部分url删减了部分不需要的内容
    stock_info=get_json(url)#获取json数据
    #print(stock_info)
    get_stock_info(stock_info)#对数据进行处理

    
    
if __name__=='__main__': #在其他文件import这个py文件时,不会自动运行主函数
    main()

生成数据后，进行数据清洗（excel里面自己手动下就好了 去重 、分列 获取代码 ） 进行去重、2次分列即可

后续进行数据的替换原因在下一篇文章所用到的股票代码数据相关，sz替换成0. sh替换成1. 存成txt文档，后续第二篇文章会用到相关股票代码数据

后续文章：Python获取所有股票代码以及股票历史成交数据分析（二）

以下是一个连接数据库，打印数据表，并能够实时删除数据的php代码实例,供大家学习和使用。主要包括首页index.php,连接数据库操作conn.php,删除操作delete.php。效果图如下：

代码如下：

index.php

<?php
//包含conn.php文件
include("conn.php");
//执行查询的SQL语句
$sql = "SELECT * FROM 007_news ORDER BY id asc";
$result = mysql_query($sql); //向MySQL服务器发出SQL请求
//取出记录总数
$records = mysql_num_rows($result);
?>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html>
<head>
<title>网站首页</title>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<script type="text/javascript">
function confirmDel(id)
{
if(window.confirm("你确认要删除吗？"))
{
//跳转到delete.php文件
location.href = "delete.php?id="+id;
}
}
</script>
</head>

<body>
<table width="1000" border="1" bordercolor="#eee" rules="all" align="center" cellpadding="5">
<tr>
<th>编号</th>
<th>新闻标题</th>
<th>作者</th>
<th>来源</th>
<th>点击率</th>
<th>发布时间</th>
<th>操作选项</th>
</tr>
<?php
while($row=mysql_fetch_row($result))
{
?>
<tr align="center">
<td><?php echo $row[0] ?></td>
<td align="left"><a href="javascript:void(0)"><?php echo $row[2] ?></a></td>
<td><?php echo $row[3] ?></td>
<td><?php echo $row[4] ?></td>
<td><?php echo $row[9] ?></td>
<td><?php echo date("Y-m-d H:i",$row[10])?></td>
<td>
<a href="javascript:void(0)" onClick="confirmDel(<?php echo $row[0] ?>)">删除</a>
</td>
</tr>
<?php
}
?>
</table>
</body>
</html>

conn.php

<?php
//用于声明或设置网页中的字符集的
header("content-type:text/html;charset=utf-8");
//(1)数据库配置信息
$db_host = "localhost";
$db_user = "root";
$db_pwd  = "";
$db_name = "saixinjituan"; //自定义数据库名称
//(2)连接MySQL服务器
$link = @mysql_connect($db_host,$db_user,$db_pwd);
if(!$link)
{
echo "<li>PHP连接MySQL服务器出错啦！</li>";
exit();
}
//(3)选择当前数据库
if(!mysql_select_db($db_name))
{
echo "<li>选择数据库<font color='red'>{$db_name}</font>失败！</li>";
exit();
}
//(4)设置MySQL返回数据的字符集
mysql_query("set names utf8");

?>

delete.php

<?php
//包含conn.php文件
require("conn.php");
//获取地址的id参数，并构建要删除的SQL语句
$id = $_GET["id"];
$sql = "DELETE FROM 007_news WHERE id=$id";
//执行查询的SQL语句
if(mysql_query($sql))
{
//跳转到首页index.php
header("location:index.php");
}
?>

原文地址：http://liuyanzhao.com/1913.html