沪深港通数据实战：从北向资金到择时信号的全链路量化（第 3 篇）：沪、深股通成分股行情：字段解析与清洗

沪深港通数据实战从北向资金到择时信号的全链路量化第 3 篇沪、深股通成分股行情字段解析与清洗一、前言北向资金的「态度」既体现在整体净流入第 1、2 篇也体现在它在哪些标的上进出。本篇接入沪股通成分股行情ht/nbzj/hgtc与深股通成分股行情ht/nbzj/sgtc把北向标的池的实时行情落库并自研「北向成分股当日平均涨跌幅」作为情绪代理变量为第 8 篇的个股周期排名、第 11 篇的综合择时做数据铺垫。二、接口与字段2.1 沪股通成分股行情/ht/nbzj/hgtc字段含义按官方字段名推断dm / mc代码 / 名称fm今开h / l / o / yc最高 / 最低 / 开盘 / 昨收p / ud / pc最新价 / 涨跌额 / 涨跌幅hs / lb / v / cje换手 / 量比 / 成交量 / 成交额lt / sz / sjl流通市值 / 总市值 / 实流通pe市盈率zf / zs振幅 / 涨速zdf60 / zdfnc60 日涨跌幅 / 年初至今涨跌幅t时间2.2 深股通成分股行情/ht/nbzj/sgtc字段与hgtc完全一致23 个。三、自研衍生指标北向成分股当日平均涨跌幅pc.mean()衡量北向标的整体强弱。涨停家数 / 跌停家数pc 9.9与pc -9.9的计数。PE 中位数北向池估值水位参考。四、数据表设计两张结构相同的表列名与官方字段一一对应统一以 TEXT 存储原始值读取时再pd.to_numeric。CREATETABLEht_hgtc(dmTEXT,mcTEXT,fmTEXT,hTEXT,hsTEXT,lbTEXT,lTEXT,ltTEXT,oTEXT,peTEXT,pcTEXT,pTEXT,szTEXT,cjeTEXT,udTEXT,vTEXT,ycTEXT,zfTEXT,zsTEXT,sjlTEXT,zdf60TEXT,zdfncTEXT,tTEXT);-- ht_sgtc 同构五、完整代码importurllib.request,json,sqlite3,time,loggingimportpandasaspdfromdatetimeimportdatetime LICENCEYOUR_LICENCE_HEREDB_PATHquant.dbLOG_FILEseason4_article3.logBASEhttps://api.biyingapi.comlogging.basicConfig(filenameLOG_FILE,levellogging.INFO,format%(asctime)s %(levelname)s %(message)s)HGT_COLS[dm,mc,fm,h,hs,lb,l,lt,o,pe,pc,p,sz,cje,ud,v,yc,zf,zs,sjl,zdf60,zdfnc,t]defbiying_api_get_retry(url,timeout15,max_retry3):lastNoneforiinrange(max_retry):try:requrllib.request.Request(url,headers{User-Agent:Mozilla/5.0})withurllib.request.urlopen(req,timeouttimeout)asresp:returnjson.loads(resp.read().decode(utf-8))exceptExceptionase:laste logging.warning(retry %d/%d %s %s,i1,max_retry,url,e)time.sleep(1)logging.error(api failed %s %s,url,last)returnNonedef_as_list(data):returndataifisinstance(data,list)else[data]defsave_board(name,path):urlf{BASE}/ht/nbzj/{path}/{LICENCE}databiying_api_get_retry(url)ifnotdata:returnrows_as_list(data)connsqlite3.connect(DB_PATH)coldef,.join(f{c}TEXTforcinHGT_COLS)conn.execute(fCREATE TABLE IF NOT EXISTS{name}({coldef}))ph,.join(?*len(HGT_COLS))forrinrows:conn.execute(fINSERT INTO{name}VALUES ({ph}),[r.get(c)forcinHGT_COLS])conn.commit();conn.close()logging.info(%s saved %d rows,name,len(rows))defsave_hgtc():save_board(ht_hgtc,hgtc)defsave_sgtc():save_board(ht_sgtc,sgtc)defboard_sentiment():自研北向成分股情绪快照。connsqlite3.connect(DB_PATH)fornamein[ht_hgtc,ht_sgtc]:dfpd.read_sql(fSELECT dm, mc, pc, pe FROM{name},conn)ifdf.empty:continuedf[pc]pd.to_numeric(df[pc],errorscoerce)df[pe]pd.to_numeric(df[pe],errorscoerce)print(f[{name}] 平均涨跌幅{df[pc].mean():.3f}f涨停{(df[pc]9.9).sum()}跌停{(df[pc]-9.9).sum()}fPE中位数{df[pe].median():.2f})conn.close()if__name____main__:save_hgtc()save_sgtc()board_sentiment()六、业务关键点两接口返回的是成分股列表快照盘中多次拉取可捕捉北向标的强弱变化落库建议带时间戳或覆盖写。字段pc是涨跌幅百分比pe可能缺失或为负亏损股pd.to_numeric(errorscoerce)是必须的。北向成分股池与全市场行情结构几乎一致本篇单独落库便于后面按「北向标签」做分组统计。七、拓展练习把ht_hgtc与ht_sgtc合并成一张带market字段的宽表方便统一分析。用zdf6060 日涨跌幅找出近 60 日北向强势股与第 8 篇排名做交叉。将涨停家数做成日内时序观察北向标的情绪拐点。八、下篇预告下一篇《港股通成分股行情沪、深港股通接入》将接入ht/nbzj/ggth与ht/nbzj/ggts补齐南向港股通标的池行情并把 A/H 联动分析所需的港股数据接进来。免责申明文中所有数据处理逻辑仅为编程演示仅为数据演示不构成投资建议。市场有风险投资需谨慎。