1.å½å
çä½ä»£ç å¼åå¹³å°å¯ä»¥åäºä»ä¹åè½ï¼
2.2024年最新版大数据从入门到进阶路线图(建议收藏)
3.python文件多少行?
å½å çä½ä»£ç å¼åå¹³å°å¯ä»¥åäºä»ä¹åè½ï¼
é¦å 解éä¸ä¸ï¼ä»ä¹å«ä½ä»£ç å¼åå¹³å°ãä½ä»£ç å¼åå¹³å°æ¯ä¸æ¬¾å©ç¨å°éç®å代ç æè ä¸ç¨ä»»ä½ä»£ç å°±è½å¸®å©ä¼ä¸è¿è¡å¿«éå¼ååºç¨ç³»ç»çå¹³å°ãå°±æ¿ç¾æ°ä½ä»£ç å¼åå¹³å°æ¥è¯´ï¼å®ä¸ä» å¯ä»¥è®©ç¨æ·ç´æ¥ä½¿ç¨å¹³å°ç°æçç³»ç»ï¼ä¹å¯ä»¥æ ¹æ®èªå·±çå®é éæ±åç®åçä¿®æ¹ï¼æè è¿è¡èªä¸»ä¸ªæ§åæ建ã
å ¶ä¸»è¦ç»ååè½ä¸ºï¼
表åä½ç³»ï¼ä¸»è¦ç¨äºæ°æ®å½å ¥ãæ°æ®æ¶éçæ°æ®å¤ççåºæ¯ã
æ¥è¡¨ä½ç³»ï¼ä¸»è¦æ¯è¿ç¨ä¸åç±»åçè¡¨æ ¼ãå¾è¡¨æ¥å¯¹è¡¨åæ°æ®è¿è¡æ±æ»ãå±ç¤ºï¼ä¾¿äºå¯¹ä¿¡æ¯çç´è§äºè§£ã
æµç¨è¡¨åï¼ä¸»è¦æ¯éè¿ç³»ç»çæ¨éå¿«éå®æä¼ä¸å é¨çæµç¨å®¡æ¹ï¼ä¾¿äºä¼åå·¥ä½æµç¨ã
æ°æ®è§å¾ï¼ä¸»è¦ç¨äºå¤ææ°æ®ç»è®¡/å¤è¡¨å ³è/åç»æ±æ»/åç»è¿æ»¤ï¼å¶ä½å¤ææ°æ®æ¥è¡¨ï¼è¿å¯ä»¥ç¨æ¥è¢«æ°æ®èå¨è°ç¨æ°æ®ã
åè½æ©å±ï¼å¯ä»¥éè¿Pythonä¸luaèæ¬è¯è¨ä»¥ååè½æ¨¡å对系ç»æ ¹æ®èªå·±çéæ±è¿è¡æ©å±ã
年最新版大数据从入门到进阶路线图(建议收藏)
大数据入门学习路线说明
从基础篇、数据采集与存储、数据管理与查询、数据开发工具、数据计算、数据可视化和数据分析(Python与机器学习)多个方面入手,php企业源码下载全面覆盖大数据全生命周期。本套资源适合想深入大数据行业的新人或有志深耕的伙伴,包含大数据基础、架构、数据仓库、数据治理、BAT案例、科研绘图工具、大厂面试题及答案、简历模板等。
学习路线内容
1.1 基础篇
学习Linux基础、SQL基础、Java语言和Scala,推荐使用在线教程平台。
1.2 数据采集与存储
掌握Hadoop基础、Hive/Hbase数据存储原理、ETL数据采集流程。
1.3 数据管理与查询
学习数据仓库体系、数据治理体系、OLAP查询。
1.4 大数据工具
熟悉任务调度、平台运维、消息中间件、组件协调等工具。
1.5 数据计算
掌握数据统计、捉妖股源码直播指标计算,重点是分布式计算引擎。
1.6 数据可视化
了解PowerBI、Superset、Tableau等报表工具。
1.7 数据分析
学习Python数据分析、机器学习基础,涵盖数据分析岗位核心技能。
2 大数据岗位概览2.1 岗位说明
岗位包括大数据开发工程师、大数据数仓工程师、数据分析师、数据治理/运维工程师,覆盖大数据企业开发岗位。
2.2 岗位具体信息
2.1 大数据开发工程师
研发岗负责平台底层研发与源码二次开发;开发岗为业务指标和需求功能开发。
2.2 大数据数仓工程师
负责公司企业级数仓体系搭建与数据管理。
2.3 数据分析师
业务知识与技术结合,可分数据分析岗、BI岗与算法岗。
2.4 数据治理/运维工程师
搭建企业数据治理体系,确保数据运维工作。
python文件多少行?
导读:本篇文章首席CTO笔记来给大家介绍有关python文件多少行的相关内容,希望对大家有所帮助,一起来看看吧。pythonopenpyxl写xlsx最多写多少行不超过行
最近要帮做RA的老姐写个合并excel工作表的脚本……源数据是+个excel工作表,分布在9个xlsm文件里,文件内容是中英文混杂的一些数据,需要从每张表中提取需要的部分,分门别类合并到多个大的表里。
寻觅工具
确定任务之后第一步就是找个趁手的库来干活。?直播页面跳转源码PythonExcel上列出了xlrd、xlwt、xlutils这几个包,但是
它们都比较老,xlwt甚至不支持版以后的excel
它们的文档不太友好,都可能需要去读源代码,而老姐的任务比较紧,加上我当时在期末,没有这个时间细读源代码
再一番搜索后我找到了openpyxl,支持+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~
安装
这个很容易,直接pipinstallopenpyxl,呵呵呵~
因为我不需要处理,就没有装pillow。
一些考虑
源文件大约一个在1~2MB左右,比较小,所以可以直接读入内存处理。
既然是处理excel,何况他们整个组显然都是win下干活(数据都用excel存了==,商科的人啊……),这个脚本还是在win下做吧
这个任务完全不需要我对现有的文件做修改!囧……我只要读入、处理、再写出另一个文件就行了
学习使用
嗯,就是打开cmd,然后用python的shell各种玩这个模块来上手……(win下没有装ipython,囧)
做这个小脚本基本上我只需要import两个东西
fromopenpyxlimportWorkbookfromopenpyxlimportload_workbook
load_workbook顾名思义是把文件导入到内存,Workbook是看源码有用么最基本的一个类,用来在内存里创建文件最后写进磁盘的。
干活
首先我需要导入这个文件
inwb=load_workbook(filename)
得到的就是一个workbook对象
然后我需要创建一个新的文件
outwb=Workbook()
接着在这个新文件里,用create_sheet新建几个工作表,比如
careerSheet=outwb.create_sheet(0,'career')
就会从头部插入一个叫career的工作表(也就是说用法类似pythonlist的insert)
接下来我需要遍历输入文件的每个工作表,并且按照表名做一些工作(e.g.如果表名不是数字,我不需要处理),openpyxl支持用字典一样的方式通过表名获取工作表,获取一个工作簿的表名的方法是get_sheet_names
forsheetNameininwb.get_sheet_names():?ifnotsheetName.isdigit():continue
sheet=inwb[sheetName]得到工作表之后,就是按列和行处理了。openpyxl会根据工作表里实际有数据的区域来确定行数和列数,获取行和列的方法是sheet.rows和sheet.columns,它们都可以像list一样用。比如,如果我想跳过数据少于2列的表,可以写
iflen(sheet.columns)2:?continue
如果我想获取这个工作表的前两列,可以写
colA,colB=sheet.columns[:2]
除了用columns和rows来得到这个工作表的行列之外,还可以用excel的单元格编码来获取一个区域,比如
cells=sheet['A1':'B']
有点像excel自己的函数,可以拉出一块二维的区域~
为了方便处理,遇到一个没有C列的工作表,我要创建一个和A列等长的空的C列出来,那么我可以用sheet.cell这个方法,通过传入单元格编号和添加空值来创建新列。
alen=len(colA)foriinrange(1,alen+1):
sheet.cell('C%s'%(i)).value=None注意:excel的单元格命名是从1开始的~
上面的代码也显示出来了,获取单元格的值是用cell.value(可以是左值也可以是右值),它的类型可以是字符串、浮点数、整数、或者时间(datetime.datetime),excel文件里也会生成对应类型的伪装商城 源码下载数据。
得到每个单元格的值之后,就可以进行操作了~openpyxl会自动将字符串用unicode编码,所以字符串都是unicode类型的。
除了逐个逐个单元格用cell.value修改值以外,还可以一行行append到工作表里
sheet.append(strA,dateB,numC)
最后,等新的文件写好,直接用workbook.save保存就行
outwb.save("test.xlsx")
这个会覆盖当前已有的文件,甚至你之前读取到内存的那个文件。
一些要注意的地方
如果要在遍历一列的每个单元格的时候获取当前单元格的在这个column对象里的下标
foridx,cellinenumerate(colA):?#dosomething...
为了防止获取的数据两端有看不见的空格(excel文件里很常见的坑),记得strip()
如果工作表里的单元格没有数据,openpyxl会让它的值为None,所以如果要基于单元格的值做处理,不能预先假定它的类型,最好用
ifnotcell.value?continue
之类的语句来先行判断
如果要处理的excel文件里有很多noise,比如当你预期一个单元格是时间的时候,有些表的数据可能是字符串,这时候可以用
ifisinstance(cell.value,unicode):?break
之类的语句处理。
win下的cmd似乎不太好设定用utf-8的codepage,如果是简体中文的话可以用(GBK),print的时候会自动从unicode转换到GBK输出到终端。
一些帮忙处理中文问题的小函数
我处理的表有一些超出GBK范围的字符,当我需要把一些信息print出来监控处理进度的时候非常麻烦,好在它们都是可以无视的,我直接用空格替换再print也行,所以加上一些我本来就要替换掉的分隔符,我可以:
#annoyingseperatorsdot=u'\ub7'dash=u'\u'emph=u'\u'dot2=u'\u'seps=(u'.',dot,dash,emph,dot2)defget_clean_ch_string(chstring):?"""RemoveannoyingseperatorsfromtheChinesestring.
Usage:cleanstring=get_clean_ch_string(chstring)?"""
cleanstring=chstring?forsepinseps:cleanstring=cleanstring.replace(sep,u'')?returncleanstring
此外我还有一个需求,是把英文名[空格]中文名分成英文姓、英文名、中文姓、中文名。
首先我需要能把英文和中文分割开,我的办法是用正则匹配,按照常见中英文字符在unicode的范围来套。匹配英文和中文的正则pattern如下:
#regexpatternmatchingallasciicharactersasciiPattern=ur'[%s]+'%''.join(chr(i)foriinrange(,))#regexpatternmatchingallcommonChinesecharactersandseporatorschinesePattern=ur'[\u4e-\u9fff.%s]+'%(''.join(seps))
英文就用ASCII可打印字符的范围替代,常见中文字符的范围是\u4e-\u9fff,那个seps是前面提到过的超出GBK范围的一些字符。除了简单的分割,我还需要处理只有中文名没有英文名、只有英文名没有中文名等情况,判断逻辑如下:
defsplit_name(name):?"""Split[Englishname,Chinesename].
Ifoneofthemismissing,Nonewillbereturnedinstead.
Usage:engName,chName=split_name(name)?"""
matches=re.match('(%s)(%s)'%(asciiPattern,chinesePattern),name)?ifmatches:?#Englishname+Chinesenamereturnmatches.group(1).strip(),matches.group(2).strip()?else:
matches=re.findall('(%s)'%(chinesePattern),name)
matches=''.join(matches).strip()ifmatches:?#Chinesenameonly
returnNone,matcheselse:?#Englishnameonlymatches=re.findall('(%s)'%(asciiPattern),name)?return''.join(matches).strip(),None得到了中文名之后,我需要分割成姓和名,因为任务要求不需要把姓名分割得很明确,我就按照常见的中文名姓名分割方式来分——两个字or三个字的第一个字是姓,四个字的前两个字是姓,名字带分隔符的(少数民族名字)分隔符前是姓(这里用到了前面的get_clean_ch_string函数来移除分隔符),名字再长一些又不带分割符的,假设整个字符串都是名字。(注意英语的firstname指的是名,lastname指的是姓,)
defsplit_ch_name(chName):?"""SplittheChinesenameintofirstnameandlastname.
*IfthenameisXYorXYZ,Xwillbereturnedasthelastname.
*IfthenameisWXYZ,WXwillbereturnedasthelastname.
*Ifthenameis...WXYZ,thewholenamewillbereturned
asthelastname.*Ifthenameis..ABC*XYZ...,thepartbeforetheseperator
willbereturnedasthelastname.Usage:chFirstName,chLastName=split_ch_name(chName)?"""
iflen(chName)4:?#XYorXYZchLastName=chName[0]
chFirstName=chName[1:]?eliflen(chName)==4:?#WXYZ
chLastName=chName[:2]
chFirstName=chName[2:]?else:?#longer
cleanName=get_clean_ch_string(chName)
nameParts=cleanName.split()printu''.join(nameParts)iflen(nameParts)2:?#...WXYZ
returnNone,nameParts[0]chLastName,chFirstName=nameParts[:2]?#..ABC*XYZ...
returnchFirstName,chLastName分割英文名就很简单了,空格分开,第一部分是名,第二部分是姓,其他情况暂时不管就行。
如果Java要打行的代码,一般用Python要打大概多少行?
视具体代码情况而定,视是否引用外部包而定,视个人编程书写习惯而定。
具体的来说,Python可以将任意长的代码写在一行上(其实好像java也可以这么干)。
所以行数说明不了什么问题。
平均来看,Java要打行的代码,Python大约需要行代码左右。
另外Python在某些问题上,处理比Java要更消耗资源,不过Python用了很多多线程优化,所以说起来,单机的运行速度不相上下,但在服务器上运行就能看出来Java是有明显优势的。
powerbipython最多多少行本次统计中纯Python代码量最大的Sentry几乎达到了W行,这是相当有规模的项目了。W~W行代码的项目有三个,包括基础项目CPython在内。W和W行代码规模的分别有三个,剩下7个则在W行以内。
看过这个列表你应当相信,动态语言至少在几十W行代码的项目上是完全没有问题的。这也是绝大多数普通应用的上限了,如果代码真的达到数百万行规模的话,那么无论用什么语言,都势必面临着拆分项目的问题。
上表将代码量指标按照代码/空白/注释进行了分类,也在一定程度上反应了项目的代码风格。Sentry是本次统计中代码量最多的项目,然而从表中可以看到,项目中的注释和其他项目相比,少得有点不成比例,说明Sentry的作者非常不注重注释。
同学们一定发现了,我在列表中除了代码行相关的指标之外还增加了几个其他内容,这也是我个人比较感兴趣的方面。
第一个指标是每个文件的平均代码行数。按照模块化的观点,单个文件中堆砌太多内容显然是不合理的,这通常意味着耦合太多、难于理解和修改。然而到底多少算是合适,并没有一个明确的标准。我希望通过这些项目的分析,了解一下开源作者们在实践中做出的选择。
统计的结果分布比较平均,从~行/文件的都存在,并不存在明显的集中点。有趣的是,头两名(Pandas,NumPy)有着紧密的联系,都是和数学统计相关的。这可能是因为数学库的特点比较纯粹而单一,不像其他类库那样容易划分。末尾的项目(Pillow,youtube-dl,Odoo,Scrapy)可以从侧面印证这种猜想:它们都是面向特定领域的,所以更加容易模块化。
第二个指标是注释和代码的比例,这个问题也有着类似的情况。注释并非越详尽越好,但总是需要一定量的注释来解释Why的问题。注释太少,说明项目的作者没有给后来的维护人员留下足够的线索,可能会造成维护上的问题。另一方面,我们考察的全部是开源项目,没有公司考核或者KPI的约束,所以我们可以放心的相信不会存在作者故意多写注释的问题。
前面提到的Sentry毫无争议的因为注释太少排到了最后,这未必说明这个项目很差,但至少是一个信号,说明该项目在维护方面可能是存在问题的。而对于那些作者愿意投入精力来写注释的项目(Ansible,NumPy,Fabric,Salt等),足以反映作者在项目上投入了相当大的心力,这是一个好的信号,说明这些项目是值得信赖的。
有一点是出乎我意料的,那就是作为所有项目之母的CPython排名比较靠后,按照道理这个基础项目应该有更多的注释才对。不过再想一想又觉得可以理解,因为CPython有单独发布的、非常详尽的文档,这是其他大多数项目都没有的,那么代码中的注释少一些也是情有可原的。
最后一项统计是关于文件类型的。Python项目中绝大多数应该是Python代码,这点没有什么疑问,但同时我也想看看除了Python代码之外,一个项目还包括哪些主要文件。C/HTML/Javascipt的上榜是毫不意外的,但有一种文件我事先没有想到,那就是.PO(开源项目常用的语言资源文件)。
对于Django和Django-CMS这两个项目,PO代码数量甚至比Python代码还要多。大概看了一下,Django支持种以上的语言,这也无怪乎语言文件的数量如此之多了。
这个结果也可以提醒我们,有些同学——不仅是程序员,也包括大多数经验不足的老板、客户、产品经理等——会下意识的认为程序开发无非是写代码,对于代码之外的其他工作,在估算的时候往往只拍脑袋式的定下一个极短的时间。但对于实际的项目来说,代码仅仅是其中的一部分,“其他工作”有时候——应该说是经常——会占用你大部分的的时间和精力。这些工作往往并不有趣,但对于项目来说又是必不可少的组成部分,希望同学们予以足够的重视。
如何利用python文件操作快速定位到多少行首先需要用open()函数打开文件,然后调用文件指针的readlines()函数,可以将文件的全部内容读入到一个列表当中,列表的每一个元素对应于文件的每一行,如果希望获取文件第k行的内容,只需要对列表索引第k-1个元素即可,因为Python是从0开始计数的。
示例代码如下:
示例代码中,打印了文件第4行的内容。
python一个文件有多少行包含了某个单词withopen('你的文件名加上后缀名')asf_obj:
print('一共有',len(f_obj.read().split('')),'个单词',sep='')
结语:以上就是首席CTO笔记为大家介绍的关于python文件多少行的全部内容了,希望对大家有所帮助,如果你还想了解更多这方面的信息,记得收藏关注本站。
2024-12-23 07:492791人浏览
2024-12-23 07:381607人浏览
2024-12-23 07:161139人浏览
2024-12-23 06:47196人浏览
2024-12-23 06:12751人浏览
2024-12-23 05:26789人浏览
中国消费者报杭州讯记者施本允)为加强对眼镜制配场所的计量监管,守护消费者“眼健康”,近期,浙江省杭州市余杭区市场监管局开展眼镜制配场所计量专项监督检查,共检查眼镜店22家,检查计量器具40台,未发现超
以揭發都市發展黑暗面的美國論壇《Reddit》都市地獄版,近日出現台灣奇特設計,有網友PO出台北人行道照片,只見走一走會出現整排機車格,被迫走到馬路和車子搶道,外國網友留言「還要小心不要被絆倒,輪椅族
1.微信代码表白(手机做表白代码程序)2.七夕告白代码合集,七夕也浪漫一下吧丨附源码及地址3.情侣飞行棋源码朋友升温神器爱情旋律小游戏H5版本下载授权4.爱情花园情侣博客《爱情花园情侣博客版)》功能与