精华内容
下载资源
问答
  • 只因段爬虫,公司200多人被抓!

    万次阅读 多人点赞 2019-10-16 09:09:00
    朋友听到这个消息的时候,我有点不太相信,做为名程序员来讲,谁还没有过几段爬虫呢?只因爬虫程序就被端有点夸张了吧。 朋友说,消息很确认并且已经进入审判阶段了。 01.对消息进一步确认 朋友认识几...
     
    640?wx_fmt=jpeg
     
    “一个程序员写了个爬虫程序,整个公司200多人被端了。”
    “不可能吧!”
    刚从朋友听到这个消息的时候,我有点不太相信,做为一名程序员来讲,谁还没有写过几段爬虫呢?只因写爬虫程序就被端有点夸张了吧。
    朋友说,消息很确认并且已经进入审判阶段了。
     
    01.对消息进一步确认
     
    朋友认识几个律师朋友,和他们有一些业务来往,得知他们想尝试把业务扩展到程序员这个群体。那段时间我刚好离职也有时间,在朋友的安排下一起聊聊看看有没有合作的机会。
     
    他们为什么想扩展人群到程序员这个行业呢?其实就是因为他们代理了这名程序员的官司,才发现很多程序员完全不懂法,直接说是法盲一点都不过分。
    刚好我也很好奇程序员因爬虫被抓这个案子,看看到底是怎么回事,就和两名律师以及朋友坐到一起,深入交流后才知道整个事件的来龙去脉。
     
    这名程序员在被警察逮捕后,警察审问期间一直不承认自己触犯了法律,并且也完全没有意识到自己犯法了。进去之后总以为警察搞错了,过几天就会把自己放出来,结果也错过了取保候审的机会。
     
    律师说,这名程序员的妈妈当时在他毕业的时候,就因程序员这个行业太辛苦不同意他做程序员,但他对这个行业一直都很感兴趣,坚持做了一名码农,没想到两年后出现了这个事情。
     
    他们家里人都后悔死了,距离事发当日到现在已经过去了半年,当事者还被关在监狱中。不管这件事如何收尾,对这名程序员和他的家庭都是一个很大的打击。
    以下内容根据部分推测和网上资料整理而出,可能会有细微偏差。
     
    640?wx_fmt=png
     

    02.一个爬虫引发的案件

    某一个知名互联网公司,突然发现公司的服务器连续几天压力倍增,导致公司内部系统崩溃不能访问,公司领导责令技术部尽快解决。
     
    该公司系统平时访问量一直比较平稳,但不知为何这几天系统压力突然大增,经过技术人员几天调查发现了一个惊人的真相,公司客户信息被抓取,并且某个接口访问量巨大。
    随着技术人员的深入调查发现的现象更加震惊,入侵者利用这个入口已经窃取了大量的客户信息,并且所有的线索都指向了一家大数据公司。
     
    这家公司的主要业务就是,出售简历数据库。经核查该公司出售的简历数据中,就包含自己家客户的简历信息。
     
    技术部上报领导之后,公司开会商议后决定报案。
     
    03.案发现场
     
    案发前一段时间,小明(化名)接到了技术部领导的需求,要求写一段爬虫批量从网上的一个接口抓取数据,爬虫开发完后测试没有问题,小明就将程序上传到了公司服务器。
     
    程序运行了一段时间后,也许是有了新的需求,也许是小明想对爬虫程序进行进一步的优化,将爬虫的线程数,由原来比较小的值调到一个比较大的值。
     
    完善后的程序上传到服务器后,小明跟踪了下爬虫的进展,运行平稳并且速度快了很多。提交之后像往常一样,小明就把这件事情忘了。
     
    小明没想到自己这次提交的爬虫程序,竟然能把对方的服务搞挂了,也没想到自己因为写了一段代码而坐牢。
     
    640?wx_fmt=png

     

    04.整个公司被抓

    2019年的某一个工作日,公司员工像往常一样忙忙碌碌,某个程序员和产品经理正在为了一个需求争吵,小明带着耳机正坐在办公室敲代码。
     
    突然就来了一大群警察,要求所有人离开工位,双手离开电脑、手机等设备。整个公司的人都懵了,不知道发生了什么事情,但也都照办了。
     
    警察很快查封了公司的所有办公用品,问技术部相关人员要了服务器的信息,公司全体上下 200 多人无差别的全部送到看守所了解情况。
     
    在去看守所的路上,大家都还心里想这是不是搞错了,我们只是一个科技公司公司又没有骗人,怎么就集体被抓了。
     
    小明也一直认为自己没有犯罪,自己只是一名技术人员而已,所有的工作也都是按照领导要求来执行的,应该很快就会把我们释放了吧。
     
    随后,公司非核心人员都被释放了出来,主要集中在 HR、行政人员。最后确认公司 36 人被捕,其中大部分是程序员。
     
    被捕后小明委托的律师事务所,就是和我们交流的两位律师的事务所,据说小明入狱后就一直不认为自己有罪,也因一直拒绝认罪从而错过了取保候审的机会。
    目前小明还在等待最后的审判。。。
     
    05.涉事公司背景
     
    640?wx_fmt=png
     
    巧达科技号称是中国最大的用户画像关键数据服务提供商,专注于大数据及人工智能领域前瞻性产品研发,客户覆盖互联网行业及泛金融领域。
     
    高管多为百度出身,公司2017年净赚1.86亿元。
     
    公司2014年7月成立,B轮估值2亿美元,目前已经到了C轮融资阶段,投资者包括李开复创新工场、百度风投齐玉杰、中信产业基金、人工智能产业基金等等。
     
    巧达的创始人成予曾经是百度第一任产品部负责人、联合创始人沈毅曾经是百度电子商务事业部技术总监和百度爱乐活技术副总裁。
     
    公司曾宣称通过整合多达2.2亿份自然人简历、100亿个用户识别ID组合和1000亿+用户综合数据,绘制出了涉及中国8亿人口的多维度数据。其中,包含个人隐私与非隐私信息。
     
    此外,巧达科技还有超过10亿份通讯录,并且掌握着与此相关的社会关系、组织关系、家庭关系数据。结合简历、通讯录,以及外部获取的超过千亿条其他用户数据,巧达科技自称拥有超过8亿自然人的认知数据。
     
    也就是说,超过57%的中国人的信息都在巧达科技的数据库里面。
     
    “基本上所有你能数的上名的大型互联网公司,都是巧达科技的客户。”一位之前简历中介生意的从业者。
     
    06.近期多个大数据公司被查
     
    最近的大数据行业,风声鹤唳。
     
    在中秋节前一天,中国电信控股的子公司天翼征信传出风声,其总经理、副总经理以及市场人员被警察带走,原因是与其合作的大数据公司被警方调查。
     
    在天翼之前,新颜科技CEO黄向前被警方带走、魔蝎科技公司CEO周江翔涉事被查、公信宝公司门口被贴了封条、知名第三方数据服务公司聚信立宣布将暂停对外提供用户授权的运营商爬虫服务……
     
    此外,国内大数据风控平台龙头同盾科技也被曝爬虫部门已解散,CEO蒋韬已出国避风头,对此,同盾科技昨日发表辟谣声明表示,子公司杭州信川科技有限公司确实停止爬虫业务,但其他言论均属不实。
    .....
    据内部消息,最近监管对数据乱象出手,开始清理行动,15家公司被列入调查名单,其中几家估值都超几十亿。
     
    国内很多大数据公司的数据来源多多少少都有一定的问题,随着我国今年6月1日起,《中华人民共和国网络安全法》将实施,所有的网上行为将越来越严格,如果还按照之前的惯性去操作,迟早会出问题。
     
     
    07.程序员谨慎使用技术
     
    不知道大家是否发现,随着国家经济的不断发展,以前可能处于灰色阶段的行业,现在几乎都慢慢不能做了。写这篇文章的目的,也是为了警示大家技术是无罪的,但是用到了错的地方代价也是非常巨大的。
     
    我之前看过这样一个报道,一个程序员因为爱好写了一个程序(入侵工具),并且把此程序上传到了互联网上,没想到过了两年之后,有人利用这个小程序非法获利500多万。
     
    虽然这名程序员并没有因为这个程序而获利,但是间接给犯罪人员提供了犯罪的工具,最后被判刑 2 年缓期 2 年执行。
     
    程序员的生活是简单的,工作大概也只关心代码和BUG。小明也从来没有把自己的职业和犯罪联系在一起。
     
    技术本身是不违法的,就好像一把水果刀,如果用来削苹果削梨没有任何问题,但是用来伤人就是凶器,就要被列入物证list。
     
    爬虫也是如此,在大多数情况下,只是采集互联网上的公开信息,很难说是违法行为。但是一旦涉及入侵到别人系统去获取数据,那必然存在着法律风险。
     
    可能很多同学是懵的,很多互联网公司就是靠抓取数据活着的。他只是正常执行公司安排的工作任务,怎么就涉嫌犯罪了呢?
     
    这里结合律师朋友给出的一些建议,这里摘录出来仅供参考。
     
    08.单位犯罪和个人犯罪的关系
     
    首先了解一下单位犯罪。除了自然人犯罪,还有单位犯罪,是指公司、企业、事业单位、机关、团体为单位谋取利益,经单位决策机构或者负责人决定实施的,法律规定应当负刑事责任的危害社会的行为。
     
    我国刑法对单位犯罪原则上采取双罚制度,即单位犯罪的,对单位判处罚金,并对其直接负责的主管人员和其他直接责任人员判处刑罚。相关司法解释规定,在审理单位故意犯罪案件时,对其直接负责的主管人员和其他直接责任人员,可不区分主犯、从犯,按照其在单位犯罪中所起的作用判处刑罚。
     
    因此,公司犯罪有可能会牵连员工,尤其是案件中对非法获取数据有直接责任的爬虫工程师。这也是为什么当事人在公司人小言微但还是被批捕的原因。
     
    其次,是否可以“不知者不为罪”来辩解?刑法原则之一是法无明文规定不为罪,并没有“不知者不为罪”。主观上的恶意是衡量犯罪的要素之一,结合客观上的行为来推理主观恶意。破解别人的服务器,获取别人不公开的信息,不能说没有恶意,不能以不懂法来搪塞。
     
    09.重点:什么样的爬虫是违法?
     
    如果爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息,并将之用于非法途径的,则肯定构成非法获取公民个人信息的违法行为。
     
    除此之外,根据相关规定,对于违反国家有关规定,向他人出售或者提供公民个人信息,情节严重的,窃取或者以其他方法非法获取公民个人信息的,均可构成成“侵犯公民个人信息罪”,处三年以下有期徒刑或者拘役,并处或者单处罚金;情节特别严重的,处三年以上七年以下有期徒刑,并处罚金。
     
    重点关注:下列情况下,爬虫有可能违法,严重的甚至构成犯罪。
    1. 爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施,非法获取相关信息,情节严重的,有可能构成“非法获取计算机信息系统数据罪”。

    2. 爬虫程序干扰被访问的网站或系统正常运营,后果严重的,触犯刑法,构成“破坏计算机信息系统罪”

    3. 爬虫采集的信息属于公民个人信息的,有可能构成非法获取公民个人信息的违法行为,情节严重的,有可能构成“侵犯公民个人信息罪”。

     
     

    10.最后

    最后提醒大家敬畏法律,热爱生活。
     
    愿每一个程序员都可以用自己的技术去改变世界,让我们的社会变得更加美好!
     

     

    ---------------------------看不见的分割线---------------------

     

    最近很多小伙伴找我要一些 Linux 基础资料,于是我翻箱倒柜,把这份华为大牛总结的 Linux 归纳笔记找出来,免费共享给大家!

    据说有小伙伴靠这份笔记顺利进入 BAT 哦,所以一定要好好学习这份资料!

    资料介绍

    这份资料非常全面且详细,从 Linux 常用命令到 Linux 常用操作,再到网络管理性能优化,几乎覆盖了 Linux 基础学习的方方面面,非常适合初学者入门!

    资料也按目录进行编排,每一章下面都有更具体的内容:

    图片

    而且,这份资料不是扫描版的,里面的文字都可以直接复制,非常便于我们学习:

    图片

     

    如何获取?

    1. 识别并关注我的公众号「纯洁的微笑」;
    2. 在下面公众号后台回复关键字「204」。

    图片👆长按上方二维码 2 秒

    回复「204」即可获取资料

     

    展开全文
  • #如何用python写一个正则表达式,匹配每 3 位就有个逗号的数字(分号)? 这个是《Python编程快速上手 让繁琐工作自动化》正则表达式这章的习题 下午摸索了半天,本身对正则不是特别了解,之前接触过一些,近几...

    这个是《Python编程快速上手 让繁琐工作自动化》正则表达式这一章的习题
    下午摸索了半天,本身对正则不是特别了解,之前接触过一些,近几天学习python,又开始倒腾了
    下面是我自己下午写的,请大家指导下

    import re
    threeNumRegex = re.compile(r'''
        (?:(?<![\d|\,])\d{1,3}(?=\s)) #匹配只有1-3位数,左边
        |
        (?<![\d|\,])(?:\d{1,3})(?:\,\d{3})+(?=\s) #匹配带有","的情况
    ''', re.VERBOSE)
    text = '''
        12
        12,333
        12,12
        4444
        234,45,234
        873,238,23,222
        837,228,112
        2211,341,394,222
    '''
    result = threeNumRegex.findall(text)
    print(result)
    

    为什么是

    (?:(?<![\d|\,])\d{1,3}(?=\s))|(?<![\d|\,])(?:\d{1,3})(?:\,\d{3})+(?=\s)
    

    其中

    (?<![\d|\,])\d{1,3}(?=\s)) 
    

    是用来匹配只有1-3位数的情况,前面不能是数字或者",",如果没有前面的否定负向零宽断言

    (?<![\d|\,])
    

    就会出现下面这样的匹配情况

    ['12', '333', '12', '444', '234', '222', '112', '222']
    

    得不到正确的结果
    另外,还需要加一个肯定正向零宽断言

    (?=\s)
    

    如果不加,结果会是这样

    ['12', '12', '12', '444', '234', '873', '837', '221']
    

    也不正确

    (?<![\d|\,])(?:\d{1,3})(?:\,\d{3})+(?=\s)
    

    这一部分是匹配带有“,”的情况,就不详细说了

    就是不知道还有没有其他更简便的方式?
    有的话,帮忙留言给我,请大家多多赐教

    展开全文
  • 如何零开始写一个操作系统?

    万次阅读 多人点赞 2019-08-20 18:17:55
    如何零开始写一个简单的操作系统? 关注问题 回答 操作系统 编程学习 如何零开始写一个简单的操作系统? 看了这个:零开始写一个简单的操作系统 求指教。 关注者 4,787 被浏览 352,884 关注问题 ...

    登录加入知乎

    如何从零开始写一个简单的操作系统?

    关注问题

    写回答

    操作系统

    编程学习

    如何从零开始写一个简单的操作系统?

    看了这个:从零开始写一个简单的操作系统 求指教。

    关注者

    4,787

    被浏览

    352,884

    关注问题

    写回答

    ​邀请回答

    ​3 条评论

    ​分享

    37 个回答

    默认排序​

    知乎用户

    知乎用户

    751 人赞同了该回答

    终于可以来回答这道题了……

    一年多前,也就是大一下学期末的时候,我看到这个问题下

    @fleuria

    叔的答案,然后看了 F 叔给的这个链接 基于 Bochs 的操作系统内核实现 ,当然是什么都看不懂,除了惊诧之外也了解了一件事情:一个人写一个简单的操作系统内核是一件非常帅气并且可行的事情。

    于是我开始写了,那时候我的水平大概是:只会做 C 语言的习题,编译的话只知道按 F9,汇编知道常见的指令,另外会一点点的 Win 32 编程,能流畅使用 Windows。

    一开始我找了《30 天自制操作系统》来看,每天看书,然后把从书里把代码打出来,一次一次地编译运行。因为要同时写汇编和 C,所以从那时候起就开始用 vim。

    在啃完了差不多半本书后,开始觉得没意思了……因为觉得作者为了让内容更简单而省略了太多细节。也看了于渊的《Orange‘s 一个操作系统的诞生》,依然没看下去:汇编用得太多了。期间也曾斗胆发邮件给 F叔,然后他推荐了 Bran's Kernel Development Tutorial 这个教程,于是我就从这教程重新开始了: 「30天自制操作系统」 Stop & 「OS67 」 Start

    那时候大概是大二上学期,于是在 github 上又开了一个 repo,一开始在 Windows 下开发,后来又切换到了 Linux 下,因为 Bran's 用的 bootloader 是 Grub,不符合我的初衷,所以就自己写了一个,之后便跟一路教程写,跨过了保护模式这道坎,完成了基本的设备驱动。

    在完成 Bran's 后,我又部分参考了 写一个操作系统内核有多难?大概的内容、步骤是什么? - To浅墨的回答 中推荐的:hurley25/hurlex-doc · GitHub 文档,完成了一些简单的调试函数和库函数,printk 和内存分配。
    事实证明,尽早写好调试函数诸如 panic, assert 和 printk 是非常重要的。 大量地使用有助于你尽快地发现 bug (当然前提是这些函数本身不能有 bug)。

    看完了 hurlex-doc 该看的部分后,很长一段时间了都不知道该干嘛好,模仿 hurlex-doc 里的内核线程切换也一直出错。这一情况一直持续到我开始读 Xv6, a simple Unix-like teaching operating system

    如果你去看知乎关于「自制内核」的问题,你会发现 xv6 被反复地提及并推荐,事实上它非常值得被推荐:这是我读完大部分代码之后真切体会到的。

    之前的 Bran‘s 和 hurlex-doc 的篇幅都比较小,我是在电脑和 kindle 上看完的,xv6 相对来说代码量比较大,有 9000+ 行和一份文档,之后我又找到了这个:ranxian/xv6-chinese · GitHub xv6 文档的中文译版,所以我就去花了十二块钱学校打印店打印了一份中文文档和一份代码。这又是一个正确的决定,让我不必对着电脑就能看代码。

    在之后的时间里,我先读了 xv6 中文件系统相关的部分,然后改写它的代码为我的内核添加了一个 类似 Minix 的文件系统。 然后几乎又照抄了其中了进程调度的部分(做了部分简化),又在原来的代码基础上为添加操作系统的接口,接着写用户程序,过程几乎是「一路顺风」。看 xv6 的那段时间也经常是处于醍醐灌顶的状态。

    最后我终于在差不多一个月前完成了这个简陋的操作系统内核:
    LastAvenger/OS67 · GitHub (没错其实我是来骗 star 的)

    历时一年,一路点亮了不少技能树(虽然都点得不好),这样算是「从零开始写一个简单的操作系统」么? 跟进一步说,有谁不是从零开始的呢? 所以想做的话,现在就开始做好了。

     

    这是被「翻烂」了的 xv6 源代码和中文文档(其实是放书包里被磨烂了)


    「故事」讲完了,接下来说一点经验之谈吧……

     

    * 知乎上总是有人在讨论「做一个玩具编译器和做一个玩具内核何者更有趣」之类的问题,然后总有各种大V 跳出来说内核有多 dirty 而编译器多 clean,事实上除了 CPU 上的几个表因为历史原因长得恶心一点,内核并没有什么特别 dirty 的地方,另外,想做点什么打发时间,不过是两个代码量稍多的入门项目,有什么好纠结的?
    * 写内核的过程中,你会接触到一些这辈子大概只会用到一次的知识,A20 线已经成为历史,日常的编程里面也不需要你懂得 GDT IDT 的结构。但是单凭内核主要部分部分(文件系统,进程,内存)给你带来的知识而言,这点冗余是值得的。
    * 尽早实现调试函数并大量使用,善于利用 bochs 的内置调试器,能省下你不少时间。
    * 有时候觉得书里的做法非常奇怪,你觉得你有更好的做法,一般是你想错了。(当然只是一般)
    * 上面说看 xv6 一路顺风是假的,20% 时间在抄代码,80% 的时间用来调试
    * 对我这种能力一般的人来说,「写内核」只是好听的说法,正确的说法是「抄内核」。当然,就算是抄一个,也算是受益匪浅了。
    * 抄 xv6 的好处在于,即使你的代码出错了,你可以坚信,正确的答案肯定在 xv6 的代码里,或许只是你还没理解透而已,只要不断地看和理解,你就离正确的道路越来越近。

    最后,感谢

    @fleuria

    在微博和邮件里的多次帮助,

    @To浅墨

    的 hurlex-doc 文档,鲜染同学翻译的 xv6 中文文档,

    @郭家华

    完美地解答了我一开始的疑问,让我在内核中得以使用 C 语言。
    在 #archlinuxcn 频道里也得到了很多人的帮助。

    发布于 2015-11-09

    ​赞同 751​​54 条评论

    ​分享

    ​收藏​感谢收起​

    邱永臣

    邱永臣

    什么都懂一点,同时又什么都不懂,这就是我,一个喜剧演员。

    1,430 人赞同了该回答

    大二的时候,老师(中山大学万海)对我们说:“如果有谁能自己写一个内核出来,那么,他平时可以不来听课,也不用做平时作业,做出来还能加分,怎么样,有没有人有兴趣?”

    和老师一番讨价还价之后,我成为全年级几百号人里唯一一个自己写内核/整个学期都不去教室听课/任何作业都不做的那个人(代表着我的身边将没有可以提供参考的人,任何资料都只能自己找)。

    一开始买了《30天自制操作系统》,上面写着需要软盘还有其它的模拟器,我的初衷是写一个可以烧在真机上一按开机键就能跑起来的那种,所以看了几页后就丢开了。后来又找了国人写的一本,也不是特别符合,也丢开了。

    这时我看到了那本教材(俗称绿宝书),约莫800页。之后的两个星期里,我每天泡图书馆,以每小时10页的速度读完了它,在上面乱涂乱画了许多标记。800页的英文书,我从中学到了大量的基本概念(线程进程,内存算法,寻址方式等等)。

    接着我寻思直接从网络上而不是从书上寻找资料,TA师兄给我提供了一个OS Development,我照着上边的例子,写了数以千记的汇编代码,习得了汇编技能。

    此时,我具备基本的概念知识,对程序的语言也已经理解,知道了虚拟机的调试方法,差的,就只有对内核整体是如何协作不太明白。于是我去找来老师用于教学的PintOS,找来MIT那个项目的代码,还有国内一个高校自制的OS(是几个研究生一起写的),仔细研究了一遍,最后开始写代码。

    在那个学期里,我放弃了LOL,一心看代码,写内核,写各种模块,将过程记录在博客上,花了三个月的时间,最终写出一个具备terminal的内核(文件系统没写好,时间不够),可以跑命令,运行函数,管理内存和进程,处理中断。






    如果你想知道具体整个编写的过程是怎样的,可以看看我当时的记录,如下(很长):

    原文:(http://www.ilovecl.com/2015/09/15/os_redleaf/ )







    (一)OS说明

    今后,我就要开始折腾操作系统,有了一点小小干劲。

    我的计划是,先看过一份用于教育目的的系统源码,再去翻找相应的资料(我手头已有绿宝书),在翻资料的同时开始写代码,然后做好移植真机的工作,DONE!
    我也明白,理性很丰满,现实很骨感,这过程不会如同我计划中这般简单和轻松。但是,见难而退可不是我的风格(那样我会被红叶二小姐调戏的),不管如何,我都会,怎么说呢,尽力吧。

    出于课程需求,斯坦福那些人亲自写了一个名为“pintos”的系统。pintos的结构比较简单,分为进程管理、文件系统、用户程序、虚拟内存等几个部分,也正是因为这个原因,我选择pintos作为我的参考蓝本,现在在读它的源码。

    在接下来的几个月时间里,不出意外的话,我会不断的在博客上更新我的进度。

    (三)交叉编译环境

    倘若我们要在ubuntu上编译另外一个完整的OS,交叉编译环境是必不可少的玩意,维基百科有云:

    交叉编译器(英语:Cross compiler)是指一个在某个系统平台下可以产生另一个系统平台的可执行文件的编译器。
    (想起以前,我为了给路由器编译OPENWRT,下载大量源码,愣是编译了几天几夜。那时候的我,真是“可爱”。)
    为了配置好交叉编译环境,我废了好大力气,最后勉强找到了组织。
    编译环境大致分为2部分,binutils和gcc。我先装好gcc-4.9.1,之后下载gcc-4.9.1和binutils-2.25的源代码,似乎gcc版本与binutils版本要对应来着…

    开始编译之前,需要准备全局变量(在命令行中敲入以下命令):

    export PREFIX=”$HOME/opt/cross”
    export TARGET=i686-elf
    export PATH=”$PREFIX/bin:$PATH”
    编译Binutils
    cd $HOME/binutils-2.25
    mkdir build-binutils
    cd build-binutils

    #注意是在源码目录下面新建一个文件夹,然后cd到该文件夹里,然后才配置configure,不这么做的话,嘿嘿..
    ../binutils-x.y.z/configure –target=$TARGET –prefix=”$PREFIX” –with-sysroot –disable-nls –disable-werror
    make
    make install
    –disable-nls 告诉binutils,不要添加本地语言支持

    –with-sysroot 告诉binutils,在交叉编译器中允许sysroot

    编译GCC
    cd $HOME/gcc-4.9.1
    mkdir build-gcc
    cd build-gcc

    #注意是在源码目录下面新建一个文件夹,然后cd到该文件夹里,然后才配置configure,不这么做的话,嘿嘿..
    ../gcc-x.y.z/configure –target=$TARGET –prefix=”$PREFIX” –disable-nls –enable-languages=c,c++ –without-headers
    make all-gcc
    make all-target-libgcc
    make install-gcc
    make install-target-libgcc
    –disable-nls 告诉GCC,不要添加本地语言支持。

    –without-headers 告诉GCC,不要依赖任何本地库,我们必须在自己的OS中实现库。

    –enable-languages 告诉GCC,不要支持除了C、C++之外的语言。

    提醒
    不同机器配置不同,编译速度也不同。

    编译这两个软件,我花了近3个钟,机器配置之低自不必说,说了都是泪。

    如果任何人的任何编译过程出了任何问题,请仔细地、认真地、用心地再看看上面的命令,在你没有弄懂它的原理之前,请不要擅自做任何“改进”(血淋淋、赤裸裸的教训呀)。

    (五)OS模糊框架

    翻完了手头的绿宝书,我才晓得,人都是被逼出来的。

    操作系统的概念都差不多已经知道,接下来,该由“理论态”切换到“实践态”了喔(书还是不能看太多,会中毒的–)。

    对了,从别人推荐的地方弄来了一个框架(曾在android平台写了几万代码,我深深体会到框架的作用),轻松开工吧。

    先说明一下这个框架:Meaty Skeleton,开源示例,内核和用户分离,方便扩展,嗯,没了。

    最近烦杂事情很多,心情,不算愉快也不算低落吧,近来又梦见红叶,不知道又要发生什么,不管。

    (六)内核第一步任务:GDT完成

    天色已晚,又下着雨,我也忘记带伞了,嗯,等会儿再回去好了,这个商城的环境还是蛮好的。

    今天实现了GDT。

    (也不算是实现吧,因为我打算使用纯分页的流氓招数,放弃纯分段或分段分页混合,所以就不太用心于实现GDT,只是浏览INTEL的官网,借用了几个FLAG定义之类的东西,匆匆就写完了GDT)

    下面是记忆:

    使用内嵌式汇编
    分4个段,两个高级的内核分段,两个低级id用户分段
    预留了一个TSS,虽然也不打算用硬件实现任务切换(听前辈们说,硬件实现非常的麻烦)
    把 设置GDT表的函数(init_gdt)放在kernel/arch/i386/global_descriptor_table.c中,而段 segment_descriptor的定义(seg_desc)则放在kernel/include/kernel /global_descriptor_table.h
    引用了英特尔的一份公开资料
    一些全局或者说全世界通用的参数放在kernel/include/kernel/global_parameter.h,有些人更绝,把所有函数的原型放在一个地方,哪怕内核级函数和用户级函数混在一起
    翻了太多资料,头都晕了
    按进度来看,有点紧,也无妨。

    (七)内核第二步任务:IDT完成

    佛说人者,非人者,名人者。
    已经写好IDT的载入,加上之前的GDT载入,就已经完成两个与机器硬件相关的模块(准确的说,应该是给CPU的特定单元载入内容)。不过我并没传说高手那么厉害,高手们一天一个模块,可我近几天连IDT对应的IRC和HANDLE都还没弄。

    在bochs上调试时,分别 键入info gdt 和info idt 1,能看到GDT和IDT的内容。

    今日要点:

    AT&T汇编和寻常的INTEL有些许区别,不过区别不是很大
    GDT和IDT都是固定的表,必须实现,实现方法各异
    之前留下的TSS并非用于切换任务,而是用于保存从“用户态”回到“内核态”时必须使用的跳转地址
    未完待续
    后记,IDT里面的OFFSET并没有得到正确的值,因为IRQ还没设置好,相应的HANDLE还没有弄好
    2015年4月16日01:14:25补充:

    设 置了IDT表中的头32个项,也就是ISR(interrupt service routines),它专门处理诸如“除以0”/“Page Fault”/“Double Fault”等exception,它对exception的处理方式也很简单,或者说根本没有处理,仅仅是打印exception的类型而已。

    我 随便写了一句int a = 1/0,调试的时候,bochs提示”write_virtual_checks(): no write access to seg”。可能是内核还没具有从用户态跳转到内核态的能力吧,毕竟IDT的头32个项都拥有ring0的级别,明天再看看。

    补上3种中断类型:

    Exception: These are generated internally by the CPU and used to alert the running kernel of an event or situation which requires its attention. On x86 CPUs, these include exception conditions such as Double Fault, Page Fault, General Protection Fault, etc.
    Interrupt Request (IRQ) or Hardware Interrupt: This type of interrupt is generated externally by the chipset, and it is signalled by latching onto the #INTR pin or equivalent signal of the CPU in question. There are two types of IRQs in common use today.IRQ Lines, or Pin-based IRQs: These are typically statically routed on the chipset. Wires or lines run from the devices on the chipset to an IRQ controller which serializes the interrupt requests sent by devices, sending them to the CPU one by one to prevent races. In many cases, an IRQ Controller will send multiple IRQs to the CPU at once, based on the priority of the device. An example of a very well known IRQ Controller is the Intel 8259 controller chain, which is present on all IBM-PC compatible chipsets, chaining two controllers together, each providing 8 input pins for a total of 16 usable IRQ signalling pins on the legacy IBM-PC.
    Message Based Interrupts: These are signalled by writing a value to a memory location reserved for information about the interrupting device, the interrupt itself, and the vectoring information. The device is assigned a location to which it wites either by firmware or by the kernel software. Then, an IRQ is generated by the device using an arbitration protocol specific to the device’s bus. An example of a bus which provides message based interrupt functionality is the PCI Bus.
    Software Interrupt: This is an interrupt signalled by software running on a CPU to indicate that it needs the kernel’s attention. These types of interrupts are generally used forSystem Calls. On x86 CPUs, the instruction which is used to initiate a software interrupt is the “INT” instruction. Since the x86 CPU can use any of the 256 available interrupt vectors for software interrupts, kernels generally choose one. For example, many contemporary unixes use vector 0x80 on the x86 based platforms.
    今天载入到IDT中的,正是第一种类型(Exception),只不过换了个名字叫ISR而已。

    未完待续。

    2015年4月18日12:06:45补充:

    之前的”write_virtual_checks(): no write access to seg”错误并不是权限的问题,而是段寄存器DS的值错误,它的值应该是0x10,可我给它赋值0x08。0x08是段寄存器CS的值,0x10才是段寄存器DS的值。

    另外,这at&t汇编里面,把C语言函数的地址赋给寄存器,必须在函数名前面加上$。

    至此,ISR彻底完成,只是,似乎IRQ又出了点问题….

    未完待续。

    (十)内核第三步任务:分页完成

    稍微做下记录…

    得到内存大小
    首先,利用grab得到物理内存的实际大小。

    物理内存管理
    然后,用一个数组map来监督物理内存,数组的每一项都对应着一个4K的物理内存。在这里我遇到了一个问题:数组的大小如何设置?因为还没有内存分配功能,所以不可能allocate一块或new一块内存来存放数组。找来找去也没找到合适的方案,就自己弄一个粗鲁一点儿的:设置数组大小为1024 1024。这样一来,数组的每一项对应4K,有1024 1024项,恰好可以对应4G大小的物理内存。但这样又有一个缺陷,倘若物理内存没有4G而是128M,那么该数组就有大部分元素被废弃了。现在先,额,不管这个,之后再解决。

    至于这物理内存它的实际分配,我是这么觉得的:把前64M的物理内存当作内核专属(把内核的所有内容全都加载到此处),剩余的物理内存才是空闲内存,用于allocate。

    为了方便分配物理内存,我采取最最最简单的方法:把所有空闲的物理页放到一条链里,需要的时候直接拿出来就可以了。

    虚拟内存管理
    之后,就是把page_directory地址放入CR3并开启硬件分页功能了。

    page_directory,page_table等作用于虚拟地址。对于这4G的虚拟地址空间,排在前面大小为MEM_UPPER的一大块虚拟内存都是内核空间,剩下的排在后面的都是用户空间。也就是说,在有512M的物理的情况下,虚拟内存的前512M是内核态,后面的3584M是用户态。

    分页错误
    内存分配的过程中,可能出现“页面不存在”、“页面只读”及“权限不足”3种错误。处理分页错误,CPU会自动调用14号ISRS,我们要做的,是把我们写的处理函数地址放到14号ISRS的函数栏即可。

    每次分页错误,CUP调用14号ISRS,继而跳入我们设计好的处理函数(-_-陷阱?)。

    不过我现在也是暂时先不写分页错误的处理函数,如果内存真的任性真的出错了,我也不会管它的,傲娇就傲娇吧。

    到这里,分页就算是初步完成了。

    致命的伤痛
    很遗憾,物理内存设置好了,虚拟内存设置好了,也正常工作了,但是我一旦开启硬件的分页功能,就有”physical address not available”的错误,直接重启了,到底是怎么回事…再看看吧…

    未完待续。

    2015年5月1日12:54:14补充:

    bochs的”physical address not available”提示是这么个回事,把一个内容不对的分页目录加载进硬件(也就是把分页目录地址置入CR3)。在初始化分页目录时,我直接用了4M大页的方式初始化,但弄错了byte和KB的数量级,所以就出了一点小小的问题。

    遗留:page fault函数,待日后再写。

    写内存分配去吧!

    未完待续。

    (十一)内核第四步任务:内存分配完成

    内存分配?这可是个麻烦的活,不过,如果你足够聪明的话,就没什么问题了。 ——前人
    上 一次,我准备好了分页的相关内容,比如说,载入分页目录/开启硬件支持/划分物理内存/划分虚拟内存等等。这一次,不会怂,就是干(为写内存分配模块而奋 斗,高扛自由的鲜红旗帜,勇敢地向前冲….)。分页准备好之后,下一步是如何地分配内存,比如,如何分配一页空白的可用的物理内存?如何分配一块空白 的虚拟内存?如何连续地分配等等等等。
    第一节:申请和释放空白物理内存
    申请物理内存,在分页的机制下,就是申请一页或连续几页空白的物理内存,释放则反过来。

    在 分页的时候,我已经将所有的空白物理页都放进了一个链表之中,现在要申请一个空白物理页,从链表中拿出来即可,太简单了。释放空白物理页,将物理页重新放 进链表里即可,也是非常的简单,有点简单过头了。当然啦,简单有省时省力的优点,同时,也有“无法同时分配许多页/分配大内存时(比如数十M)很吃力”的 缺点。这,按我的习惯,先留着,以后再说,现在能简单就简单。

    写好allocate_page和free_page两个函数之后,分配空白页倒是正常,但是内核出现”double fault”的错误,也就是8号ISR被CPU调用了,具体为甚,现在还不清楚,待我瞧瞧再说。

    未完待续。

    查资料如下:

    Normally, when the processor detects an exception while trying to invoke the handler for a prior exception, the two exceptions can be handled serially. If, however, the processor cannot handle them serially, it signals the double-fault exception instead. To determine when two faults are to be signalled as a double fault, the 80386 divides the exceptions into three classes: benign exceptions, contributory exceptions, and page faults. Table 9-3 shows this classification.

    Table 9-4 shows which combinations of exceptions cause a double fault and which do not.

    The processor always pushes an error code onto the stack of the double-fault handler; however, the error code is always zero. The faulting instruction may not be restarted. If any other exception occurs while attempting to invoke the double-fault handler, the processor shuts down.

    ————————————————————————–

    Table 9-3. Double-Fault Detection Classes
    Class ID Description

    1 Debug exceptions
    2 NMI
    3 Breakpoint
    Benign 4 Overflow
    Exceptions 5 Bounds check
    6 Invalid opcode
    7 Coprocessor not available
    16 Coprocessor error

    0 Divide error
    9 Coprocessor Segment Overrun
    Contributory 10 Invalid TSS
    Exceptions 11 Segment not present
    12 Stack exception
    13 General protection

    Page Faults 14 Page fault
    ————————————————————————–

    Table 9-4. Double-Fault Definition
    SECOND EXCEPTION

    Benign Contributory Page
    Exception Exception Fault
    Benign OK OK OK
    Exception

    FIRST Contributory OK DOUBLE OK
    EXCEPTION Exception

    Page
    Fault OK DOUBLE DOUBLE
    ————————————————————————–

    大概意思是:同时出现了2个中断,CPU不知道该处理哪个先,就是这样,就是如此的简单。之前没有这个错误,但分配和释放几个物理页之后就有这个问题,我估摸着两个都是Page fault,再看看吧。
    刚刚调试了一下,我发现不是分配和释放几个物理页的问题,而是cli()和sti()的成对出现,去掉它们就没这个问题;更奇怪的是,就算只有sti() 允许中断出现,也会double fault,莫非我这前面关了中断或者是前面遇到了不可解决的中断遗留到现在?难道,是irq的重定位有问题?到底是为什么呢?先算入历史遗留问题吧,还 有重要的模块要完成。
    (事情有点麻烦了呢?并不是内存分配这里出了问题,而是sti()惹的祸,不管这哪个位置,只要调用sti()开启中断,就会double fault,看来必须解决这个问题才行,我不可能一直不开中断吧…-_-)
    睡了一觉,起来查资料,看到了关键的一句:make sure you didn’t forget the CPU-pushed error code (for exceptions 8,10 and 14 at least)到了,我翻出代码一看,哎呀嘛,我只注意到了8号软中断,没注意到10号和14号软中断(14号处理page fault),删去两行代码后,顺利开启中断!
    未完待续。
    第二节:分配内存(malloc/free)
    既然已经可以正常地分配和释放物理内存页,那么在这一小节之中,很自然地,我的任务就是分配内存了。

    所谓“天将降大任于斯人也,必先让他实现一个内存分配的算法”,不外乎就是说,要实现void malloc(int size)和int free(void p, int num_page)两个大众情人函数。

    它 的大概思路就是这样的:先初始化一个桶,把可用的内存块都塞进去,要分配内存时,直接从桶里面找,找到了当然万事大吉大家都开心,如果找不到,就调用上面 那个申请空白的物理内存页的函数,弄一个4K物理内存页过来,将这个内存页分割成小块,丢到桶里面,然后继续找,就是这样….
    2015年5月5日23:19:08补充:

    遇到一个bug:每次申请的时候,可以正常申请,但是一旦使用了申请的内存,内核就报”page fault”的错误。想来想去,看来看去,最终发现,我在初始化分页机制的时候出了点小小的问题。

    秘技解决:

    初 始化虚拟内存时,我将大小和物理内存一样大(比如129920K)的虚拟内存设为内核级别并可用,剩下3个多G的虚拟内存是用户级别但不可用,我使用4M 大页载入分页表,所以我实际上载入了129920/4096 = 31个大小为4M可用的内核级别虚拟内存页,也就是说,在虚拟内存这个空间里,仅仅有31 4096 = 126976K的可用空间,其它的虚拟内存均是不可用的非法的;而在初始化物理内存时,我将前64M留给内核,后面的物理内存用于malloc和 free,比如有129920K,我把它划分为129920 / 4 = 32480个4K大小的物理内存页,也就是说,在物理内存这个空间里,仅仅有32480 4 = 129920K的可用空间,其它的物理内存均不在管理范围之内;这样一来,就出大问题了。

    假设我们要申请一个物理页,由于使用链的方式管理物理页,申请到的就是排在后面的物理内存,比如申请到了129916K到129920K这一个物理内存页,现在,我们要使用它,会发生什么呢?page fault!!!!!!!

    为 什么?很明显,在虚拟内存的空间里,最大的有效内存是126976K,CPU的分页表里只能找到前126976K,现在让CPU去找129916K,它根 本就找不到!它以为这个虚拟地址并没有对应这物理地址,是个错误!(附上page fault的引发条件:A page fault exception is caused when a process is seeking to access an area of virtual memory that is not mapped to any physical memory, when a write is attempted on a read-only page, when accessing a PTE or PDE with the reserved bit or when permissions are inadequate.)
    于是我稍作改正,就正常了,可以正常使用申请到的内存-_-。

    未完待续。

    (十二)内核第五步任务:系统时钟中断、键盘中断

    我现在的状态不是很好,刚弄好系统时钟中断,每10ms发出一个中断请求;但键盘中断并没有弄好,没有识别键盘的按键SCANCODE,所以暂时只能识别第一次按键,系统收不到第二次按键中断,明个儿我再来看看,已经很晚了--!!
    未完待续。

    2015年5月9日 15:51:00补充:

    查了一番资料,调试了一番,现在,键盘中断正常工作了,键盘可以正常工作,每输入一个字符,就在屏幕上显示出来。

    嗯哼,可以进入到进程模块了。

    (十三)内核第六步任务:进程创建

    在自习室里,我突然想到一个问题:一个进程,如何去创建它?(虽然之前翻完了大宝书,但毕竟一个多月都过去了,忘了具体的实现-_-)

    翻 翻书,找到一个和我的设想相差不多的方案:用一个特定的结构体代表一个进程,结构体中包含进程的相关信息,比如说进程的pid、上下文、已打开的文件、优 先级、已经占用的CPU时间、已经等待的时间、虚拟内存空间、错误码等等,创建进程的时候,只需要跳转到进程的虚拟内存空间即可。至于如何跳转,那就是内 核态的事情了,一般的进程都处在用户态,也就不必关心太多。

    如此,我们便是可以创建并运行一个进程了(不考虑文件系统),既然可以创建进程,可以切换进程,那么进程调度就很容易了,不过就是个复杂的进程切换过程而已,下一节便是写进程的调度罢。

    (十四)内核第七步任务:进程切换与进程调度

    黄粱一梦。
    看到这句古语,顿时感慨万千,没想到仅仅数周时间,我的人生竟发生了这么大的转折(不是一夜暴富),仿佛一夜醒来,到另外一个平行世界里去。甚至,在睡梦中我都会惊醒。

    逝 者已逝,再多的话语也没用。只是,我不甘愿就这么结束而已。她也曾经说过:“此身不得自由,又何谈放纵”,现在我竟是极度赞同了。曾经想过在割腕的那一瞬 间,她的脑海里究竟有什么,有没有浮光掠影,有没有回放这一生的片段?如此年轻的生命,选择自我了断,需要多少黑暗沉淀,多少的落寞与失望…似乎一下 子也看开了。

    (以上只是个人情感的流露,忍不住必须得写些什么,请忽略)

    简单记录一下吧,没什么心情。

    进程切换时,只需要切换进程上下文,把context刷新一遍即可。

    至于进程调度,这个就简单许多了(其实也挺复杂),在时钟中断到来的时候,调整各个进程的优先级,并切换到相应的进程,就是这么简单。

    嗯,就这样吧,现在只想戴上耳机听听音乐….

    编辑于 2016-05-12

    ​赞同 1.4K​​108 条评论

    ​分享

    ​收藏​感谢收起​

    梦人亦冷

    梦人亦冷

    嵌入式/竞赛达人/cs大法好

    492 人赞同了该回答

    我来写一个如何在15天内完成一个嵌入式实时操作系统,并移植到stm32单片机的攻略吧。第一次看到这个问题是在大概两个月之前,从那时候开始决定自己也写一个操作系统,于是开始看os的基本概念,进程切换,任务调度,内存管理,任务通信,文件系统等等。


    前言:
    大约在两个周不到前动手,平均每天7个小时,从完全不知道怎么下手(真的快哭了),到现在完成了一个----基于优先级时间片调度,具有信号量,消息队列,内存管理的嵌入式系统并命名为--LarryOS,并且移植到stm32(Cortex-M3架构)上,还在stm32上实现了一个malloc和free函数,受益匪浅。现在还正在完善。我是用自己命名的,当然,大家写好了也可以用自己命名,图个开心么 ,想想是不是很激动啊。

    对于这个问题下的回答的看法:
    大神真的好多,几乎都是x86型的,难度真的要比我的大,不得不承认。不过,我觉得对于新手,写那样一个系统真的是太艰辛了,比如我这种入ee坑的在校大三学生,课真的太多了,周内最少三节课,而且和cs没有一毛钱关系,课余时间太少,如果花费一个学期或者三个月的时间来写,可能有些得不偿失。因为许多想写os的朋友,和我一样,一是觉得写os很酷,二是想通过写来理解os,毕竟看书看了就忘,也没有衡量自己学的好坏的标准。因此,选择写嵌入式系统,是一个非常好的选择 。

    知识储备:
    这个问题想必是很多同学顾虑的,到底写一个嵌入式系统需要什么知识储备?我从自己的经历出发,并加以简化,大家可以参考一下。

    自身版:
    1c语言要求:我自己在大学里几乎没学过c语言,上机几乎10道题会2道,期末全靠背。后来开始自学了c,看了c语言程序设计现代方法,c和指针 c专家编程 第一本书的课后题,做了3分之2吧,就这样,没了
    2汇编要求:会基本的x86指令,仅仅是基本,看了王爽的汇编语言,程序写的很少,仅仅上机课写过,不过能很快写出来。
    3微机原理或者计算机组成原理:老师上课太坑了实在,我自己看了csapp的前四章大概,豁然开朗,推荐这个。
    4操作系统:看了三个礼拜os的基本概念,仅仅是了解概念,没办法深入,也没地方。。。。
    5数据结构:看过浙大的数据结构公开课的3分之2,会写基本的链表,队列,最基本的树和树的基本的遍历办法,图完全不会
    6单片机基础:大约两年的单片机基础
    7新手看到这里,可能已经慌乱了。。。。不要怕,我说的很多东西,写嵌入式系统用不到啊 ,继续,发一个精简版

    精简版
    1:c语言 能把我推荐的c书的第一本或者c primer之类的书看个一半,或者自己本身知道指针的概念,知道结构体指针,函数指针,二级指针的用法,仅仅是概念和写法就行了,不用深入,用不了多久。
    2汇编:知道有几条常用指令,用法和功能是什么就可以了
    3组成原理:知道中断是什么,入栈和出,寄存器,知道汇编对应的计算机大概动作就可以了,用不了一个周
    4操作系统:找个公开课或者书,看看大概的os概念,一个周就够了,我现在很多概念还是不知道,后面可以慢慢学
    5数据结构:会写链表,队列就行了,我们不写文件系统,不用树
    6单片机基础:用过单片机,不用自己写驱动代码,仅仅可以在别人的驱动下,编写一些简单的逻辑代码就行,完全没学过的人,两个礼拜就可以用stm32来编程了,如果之前学过51,一个礼拜不到即可,因为我们只是借助一下单片机,避免使用虚拟机,方便操作系统的调试。因为我们可以用单片机,输出某些信息在串口或者液晶屏,让我们直接看到代码的错误点,方便我们调试。

    因为很多大一的新生想写,推出一个极限版~~
    极限版
    1.学过C,知道有指针这个东西,其他的边做边学。
    2.不懂汇编,边做边查,边查边写。
    3.知道什么是寄存器,知道中断的概念
    4.知道OS是由什么组成的
    5.数据结构完全不会,遇到链表,队列时再查,或者直接抄也行
    6.不学如何使用单片机,遇到再查


    发一个很装逼的封面助兴



    正文:

    一、开发环境

    对我来言,这倒是很重要的一点。第一次萌生想写OS的想法时,在网上搜索了不少资源,大多数都是在叙述框架,如何构建一个操作系统。然而对于当时的我来说,根本不知道用什么平台来写,如何调试自己的程序,看了一些朋友的发帖,推荐用XX模拟器,在XX平台开发,完全看不懂,界面好像也很老旧,而且大多是英文,当时有点敬而远之。自己手上只有个codeblocks软件,想来想去也不知道怎么用这个开发OS。直到有一天,突然顿悟,OS不就是一堆程序,我还打算让他运行在单片机上,那么用单片机常用的开发工具不就行了!!!---------Keil uVision5

    学过单片机的朋友,相信非常熟悉这个软件,使用起来也非常简单,网上随便一查,就可以下载和安装了,这里就不详细展开说了。如果不知道如何使用的,先熟悉一下这个环境,再开始写,相信半个小时即可上手。


     

    二、参考资料

    既然是运行在真机上,必然要对它有所了解,我们这里采用的是STM32(Cortex-M3架构),市面上非常火热的一款,资料丰富,大家有什么问题谷歌一下,有很多前人的经验让你借鉴。如果不知道如何谷歌的朋友,点开这个链接去操作,免费,大约15分钟就能翻墙了如何优雅的访问谷歌、谷歌学术等网站 | 欧拉的博客

    1.Cortex-M3权威指南(中文版),这本书会详细的讲解,中断处理,异常,ARM汇编等知识,我们会在任务切换的时候用到。(PDF即可)

     

    2.嵌入式实时操作系统ucos(邵贝贝审校),ucos中有很多我们可以借鉴的地方。

     

    3.谷歌,有一些基础知识遗忘的时候,谷歌可以让你很快补充上来

     


     




     

    三、从写一个最简单的os做起

    我们这里假设我们写一个支持32个任务并发执行的简易OS

    1.任务就绪表

    我们假设这里任务有两种状态,就绪态和非就绪态。

    我们定义一个32位的变量OSRdyTbl(就绪表),它的最高位(第31位)为最低优先级,最低位(第0位)为最高优先级。OSSetPrioRdy()函数的功能是,你传递一个数(优先级),把这个优先级对应的任务设置为就绪态。同理,见图:

    OSDelPrioRdy()函数将某任务从就绪表移除

    OSGetHighRdy()函数选出最高优先级的任务

    这里我们就完成了,设置某任务为就绪态,从就绪态删除某任务,获得最高优先级任务的任务。

    2.任务控制块

    想必这个概念大家很清楚了,每个任务都对应一个任务控制块,典型的用处是,任务切换时,通过控制块来获知每个任务的堆栈(因为控制块有指针指向该任务的堆栈)

    此外,再定义几个变量。

    注释写的很清楚,不解释了!

    3.主堆栈

    在此STM32中,提供两个堆栈指针,一个是主堆栈(MSP),一个是任务堆栈(PSP),可以通过查Cortex-M3权威指南(中文版)得到。所以我们既要建立一个主堆栈,又要为每个任务建立自己的堆栈(一个任务一个),这里我们先不管任务堆栈,只看主堆栈。

    OS_EXCEPT_STK_SIZE是个宏,大家可以自己设定,我这里设的是1024,一定要尽量大一些。为什么?因为裸机下,进入中断服务程序时,系统会把许多寄存器入栈,而且支持中断嵌套,也就是刚入栈完又入栈,所以有可能会堆栈溢出,非常危险。

    CPU_ExceptStkBase大家先别管,它指向的是数组最后一个元素。

    4.建立一个任务

    我们通过Task_Create()函数来建立一个任务,第一个参数用来传递该任务的任务控制块,第二个参数用来传递函数指针,第三个传递该任务的堆栈。tcb->StkPtr=p_stk这句将该任务控制块中应当指向栈顶的指针,指向了该任务的新栈顶(前面定义了TCB,自己可以翻一翻),在写该函数时,一定要看Cortex-M3权威指南,不然你怎么知道有这么多寄存器,而不是仅仅从R1到R7?看到这里,还想看懂的,应该都是真的想写OS的朋友,这里有不懂的去看Cortex-M3权威指南,你会豁然开朗的。这里,Task_End是一个几乎永远不会执行的函数,何时会执行,先不管了,看它的内容。

    5.欢迎来到主函数

    ①第一行:在该主函数中,第一行我们让主堆栈指针指向了主堆栈,那么,这个主堆栈是哪里来的呢?很简单,我们自己定义的,哈哈。

    很熟悉吧,前面发过这个图,大小你来指定,注意要大!!!!!

    ②第二、三行:建立一个任务,第一个参数传递了该任务的控制块,第二个参数是该任务的任务函数,第三个是堆栈(数组最后一个)

    是不是很好奇,任务1和任务2是什么?一起了来看

    大家自己随意定义,开心就好。

    Task_Switch()函数又是什么呀?

    这里Task_Switch()是我们用来测试的程序,当任务1运行时,完成i++后,将最高优先级设置为任务2,并用OSCtxSw()切换到任务2,OSCtxSw是用汇编写的,是一个隐藏BOOS,我们先不管。

    ③第四行:程序刚运行时,是没有最高优先级的,所以我们用p_TCBHighRdy=&TCB_Task1;来随意指定一个任务为最高优先级

    ④:最后一行:OSStartHighRdy()该函数也是汇编,和OSCtxSw()并称为2大BOSS,我们会在后面解密。OSStartHighRdy和OSCtxSw很相似,不过OSStartHighRdy()用于当所有任务都没有运行过时,用于初始化(当然具有任务切换的作用)并成功运行第一个任务,而OSCtxSw()是在OSStartHighRdy()之后,使用OSCtxSw()时,最起码有一个任务已经运行了(或正在运行)。

    6.完工?

    到这里,从宏观说已经基本完工了,这就是一个简易的OS的基本状况。看到这里,大家可以休息一下了,消化一下,马上有BOSS要出现了,解决那两个BOSS后,就真正做成了一个简易的OS。

     

    7.两大boss之OSStartHighRdy()函数

    7.1任务视图

    终于开始了任务切换环节,这是我画的一副任务切换图,自我感觉非常好,不过大家应该看起来很困难,字太丑了~~~~

    通过分析上面这张图,来确定如何写OSStartHighRdy()函数:

    ①中:此时有一个任务1,但是任务1我们仅仅是建立了,并没有让它运行。这里我们认为任务1是由三部分组成:任务代码,任务堆栈,该任务的任务控制块。

    ②中:我们想让任务1运行起来,任务1是什么?就是一堆代码,如何运行起来?-----让PC(程序计数器)指向任务代码即可(依靠出栈POP)。同时,我们还要让SP指向任务的堆栈,这里的SP当然是PSP(任务堆栈)

    7.2写OSStartHighRdy()函数

    下面开始写OSStartHighRdy(),它的功能就是上图的①和②

    2,3,4,5行中的那些数字,是外设对应的地址,我们往相应的地址写值,即可完成某些目的。12,14,15行是我们之前定义过的几个变量,忘了的回头翻一翻。17行是将OSStartHighRdy()函数extern了一下,因为我们在主函数要用。

    上图就是OSStartHighRdy的内容,我们一起来看。28,29,30行设置了PendSv异常的优先级,问题来了,什么是PendSv???

    Cortex-M3权威指南中其实讲了,很详细,这里为了缩减篇幅,不详细说,大家只用知道PendSV 异常会自动延迟任务切换的请求,直到其它的中断处理程序都完成了处理后才放行。而我们只用触发PendSV异常,并把任务切换的那些步骤,写在PendSv中断处理任务中。

    7.2.1PendSv处理程序

    经过39和40行,我们往控制器里写值,触发了PendSv异常,现在程序会进入异常处理程序,就是下图:

    在此函数中,如果PSP为0,则进入OS_CPU_PendSVHandler_nosave()函数,其实在OSStartHighRdy我们将PSP设置为了0,所以必然会进入OS_CPU_PendSVHandler_nosave()函数。

    7.2.2OS_CPU_PendSVHandler_nosave()函数

    在该函数中,我们让p_TCB_Cur指向了最高优先级的任务,因为有出栈,所以重新更新了SP。

    7.2.3恭喜

    到了此处,一个任务已经可以成功运行起来了!!!!!!

    BUT only one task!我们需要让它多任务切换

    7.3写任务切换OSCtxSw()函数

    与OSStartHighRdy非常相似,也是往中断控制器里写值,进入PendSv异常。

    7.3.1任务视图

    依然是这张喜闻乐见的图!!!!!!!

    ③:任务1要切换到任务2,因为待会要进入任务2,会破坏任务1,所以我们要保存任务1的现场,把寄存器入栈

    ④:因为任务1有入栈动作,栈顶肯定变了,我们修改任务1控制块的值,让它指向新的栈顶

    ⑤:什么都没有,只是想说明。我们建立了一个任务2,仅仅是建立了。

    ⑥:很简单,要想让任务2运行,则让PC和SP分别指向任务2的任务代码和任务堆栈即可。

    ⑦:什么都没有,只是想说明,任务2活的很开心,可以运行了

    7.3.2由OSCtxSw()进入PendSv异常

    与OSStartHighRdy不同的是,这时的PSP肯定不为0了,所以不会跳转,会顺序执行55行以后的程序,也就是任务视图里的③,继续执行④。执行完60行的程序后,继续顺序执行,执行下面程序:

    和OSStartHighRdy函数的后续步骤几乎一样,找到优先级最高的任务,让指针指向它即可!!!!

    1.大功告成!!!!!!!!

    到这里,我们已经彻底完成了一个简易OS的设计!!!!

    8.1如何查看成果?

    8.1.1增添程序

    我们在主函数中加入一个函数

    大家可以把它理解为一个库,调用之后,我们就可以在串口(屏幕)显示某些字符了。

    同理,在任务1和任务2中加入printf函数

    8.1.2编译并下载程序

    8.1.3利用串口调试助手观察

    网上搜串口调试助手,会有很多工具,随意下一个就OK!

    可以看到,按照我们的预期,任务1和任务2轮流输出字符在屏幕上!

    8.2如何调试程序?

    8.2.1调试器

    必然是神器--J-link或者ST-link,一个大概50,嵌入式开发神器,记得以前刚开始玩单片机的时候,调试全靠打印消息在屏幕,觉得好用的不得了,经常有人给我说,你用调试器调试啊,我都鄙夷的回一句,需要么?(哈哈,那时确实不需要) 等开始写OS时才知道,这东西真是救命稻草,没有它,怎么看寄存器的值和异常返回的值呢?

    8.2.2界面

    点击DEBUG后,你可以看到寄存器的值。想想我们之前要入栈,出栈,如果哪一步错了,自己估计把串口吃了,也看不出来吧,哈哈!!!!!!

    单步调试什么的,不说了,用的很多。

     

    9.写到此处的感想

    答主因为写这个OS,在凳子上久坐了两周,这两天腰疼,只好躺着写这个回答了!哈哈!

    也正好因为腰疼,感觉时间比较多。不过和想象的真的不一样,本来觉得可以一气呵成,结果短短的篇幅,就写的自己的思维都大乱了,而且也挺费时间的,前后用了有6个小时了。想写OS的朋友,参考上面的步骤,加上自己琢磨,应该也能写一个出来。如果哪里有不清楚的,不要心急,如果真的是一两天就写成了,还有什么锻炼的意义,有点失去初衷了。不懂的就去查权威指南和OS的书籍,相信你会收获的非常多!




    为什么要写这个回答?
    这是我写了6个小时多以后来补充的问题,因为我自己也纳闷了,放着自己的事不做,跑来写这么一堆干什么........刚才路上走着想到答案了----------想留个纪念。还有不到两个月就要寒假了,我打算考研,也就是说这是大学里做的最后一个项目了(毕设除外),真的挺伤感。从大一一路折腾过来,现在要突然一年不能折腾,简直泪流满面!!!!!!!!!!!!!!!!!!希望我这个简单的开头,能让想写OS的新人得到一丝启发。

    写操作系统能学到什么?
    这也是我想写这个回答的原因,对我的改变挺大
    前几天有个好朋友(大一开始和我一起学单片机的朋友,后来他一直在做单片机项目,却没有补过任何基础知识),打电话问我XX模块怎么用,其实是很简单的一个问题,直接百度都可以,但是他还是想要来问下我,我说很简单,就XX做就可以,有问题你再百度,但是他好像不想听到这种回答,想让我说到他一听就知道怎么做了,才敢开始做,不然就不敢启动项目。那时我才突然意识到,以前的我就是这样啊,做什么项目做什么东西,老是想要集成的模块,资料丰富的模块,如果没有什么源驱动代码,我就不敢做了,生怕买回来,用不了之类的,甚至有源码也不敢买,因为源码和我的机型不一样,连修改源码都怕。开始写OS,我还蛮恐惧的,因为不是科班,没学过,不懂。涉及的东西也很广,从编程语言到数据结构,组成原理,操作系统,怕拿不下来,也找不到好的资源,不知道怎么写起。通过这次项目,我想应该学到了一下东西:

    1.遇到不懂的没有那种很强的抵触感了,开始学会查芯片手册,查原理书,开始配合谷歌查BUG,现在即使是拿来我没有接触过的模块,无论最后做的出来与否,我肯定先去了解它是什么,概念是什么,再去找厂家提供的资料,提供的源码,去一行一行的看,自己修改或者重写,这个比下面说到的什么具体的知识,我想都重要的多。我现在还记得第一次和第二次,第三次打开Cortex-M3权威指南(中文版)时的情景,看了几页就吓得我关了,简直是天书啊,其实耐心看,真的能看懂。
    2.把自己数据结构里学的东西,真正带到了项目,虽然也写过队列等这些数据结构的题,但是在以前的嵌入式开发里,几乎用不到,有时候觉得好没用啊这些。这次通过实现OS的消息队列,看linux的文件系统,知道了这些在实际的巨大用处。
    3.对OS的基本概念和运转有了认识
    4.对C语言的理解深刻了许多
    5.每个人的体验都不一样,没什么补充的了O(∩_∩)O哈哈~
     

    四、简单几步将简易OS改造为--优雅的简易OS

    1.为什么不优雅?

    在该函数中,任务1执行完,立马就会切换到任务2,然而在实际中,我们希望是这样的:

    任务1每100毫秒执行一次

    2.系统节拍

    几乎每个实时操作系统都需要一个周期性的时钟源,称为时钟节拍或者系统节拍,用来跟踪任务延时和任务等待延时

    我们在main函数中输入这样一句

    这里我们配置了定时器中断,每5毫秒一次中断。中断后会进入中断处理函数,下面来写中断处理函数:

    大家只用管if里面的函数即可:我们在某个函数中将TCB_Task[i].Dly置为x,中断处理函数会每5毫秒,将非0的TCB_Task[i].Dly减一。如果TCB_Task[i].Dly非0,对应的任务是不会运行的(因为被我们删除就绪态了,这里看不到),当TCB_Task[i].Dly减为0,我们才将该任务置为就绪态

    3.编写OSTimeDly()函数

    也就是1中图片所示的函数,它可以让某任务指定每X毫秒运行一次。

    第65行,可以关闭中断,同理,第68行,开启中断。为什么要关闭中断?因为中断会影响我们执行下面的代码,先关闭中断,执行完后再打开。66行将该任务从就绪态变为非就绪态,将要延迟的时间赋值为TCB_Task[OSPrioCur].Dly,然后调度(也就是切换任务)

    4.调度函数OSSched()

    非常简单,刚才我们将某个任务变为了非就绪态,紧接着就找就绪态任务中优先级最高的任务,然后切换

    5.是否完成了呢?----空闲任务

    乍一看,好像完成了,实则不然,虽然我们任务1每X毫秒运行一次,任务2每Y毫秒运行一次,但终归里面有空闲时间:任务1和任务2都不在运行,所以我们需要创建一个空闲任务,当CPU没有东西可以运行时,运行空闲任务。以下就是空闲任务:

    6.来到主函数:

    其他的倒是没问题,72行有个陌生的函数:OS_TASK_Init();

    其实就是之前的OSStartHighRdy()函数的升级版,非常简单

    先创建一个空闲函数,再获取优先级最高的任务,然后执行最高优先级的任务。

    7.一个优雅的简易OS诞生了

    不好看?想加个界面?没问题-----其实已经有了,大家观察58行,就是让液晶屏显示一句话,我们把背景修改为红色,醒目一点:



    很开心能有这么多朋友喜欢,非常感谢 。我开了一个简单的头,相信真的喜欢os的朋友,只要认真去做,一定也能实现一个更好的作品。后面的暂时不打算写,如果有了新的思路,一定会再写出来。授人以鱼不如授人以渔,看到这里已经有动手的能力了,想写的朋友不要害怕,尽管去做!!!加油


    五、加入信号量
    六、加入消息队列
    七、内存管理
    八、实现一个free和malloc玩玩?

    编辑于 2016-12-05

    ​赞同 492​​50 条评论

    ​分享

    ​收藏​感谢收起​

    logo中国婚博会

    广告​

    不感兴趣知乎广告介绍

    中国婚博会(上海站)限量门票免费领取中!

    2019年8月24-25日中国婚博会(上海站)世博展览馆开展!荟萃婚庆、摄影、珠宝、婚品、婚车...2天帮您搞定婚礼,门票免费快递到家!查看详情

    fleuria

    fleuria

    刀剑的时代已经过去,接下来的战斗要拿起枪

    246 人赞同了该回答

    也可以参考我的毕业论文: 基于 Bochs 的操作系统内核实现

    汇编不重要,但是要有一定计算机组成的基础,并对一个现代 kernel 的结构有大体的认识,至少大致上理解虚拟内存和文件系统有哪些东西。不要看 《the orange's》和《三十天编操作系统》,面太小,代码质量不高,就别拿 DOS 当操作系统了。个人比较推荐《莱昂氏 UNIX 源码分析》(已绝版,可淘宝打印)、《linux 0.11 内核详解/剖析》 ,写代码之前至少先都啃一遍。教程的话推荐 《bran's kernel development tutorial》和 osdev 上的一些资料。顺着它们搭开发环境,出一个简单的 bootlaoder,可以编译 C 代码即可。然后拿大把大把的时间慢慢给 bootloader 加东西就好了,能用 C 就不要用汇编。开发中的很多细节要到开发时才留意的到,这时可以自己思考,也可以去抄 linux 0.11, xv6, unixv6 这几套优秀的源码。

    现在想来,开发一个 kernel 的主要内容在于“实现”而不是“设计”,更重要的是用时间去理解这些优秀的设计为什么合理,自己别出心裁的想法一般不用多想,一定是错的。

    不要在 x86 的一些历史遗留问题上花太多时间,比如 bootloader 的保护模式会在开头挡住一大批人,可是这并不重要,只要知道有这个接口可以引导你的二进制代码即可。知道 GDT 可以区分用户态/内核态,IDT 可以给中断绑回调就行了。在调试上会花费大量时间,可以慢慢琢磨怎样提高调试的效率。然后需要的就只是耐性了,说实话也挺无聊。

    编辑于 2018-03-02

    ​赞同 246​​30 条评论

    ​分享

    ​收藏​感谢

    周仕成

    周仕成

    uiuc cs专业

    33 人赞同了该回答

    我来骗一下star哈哈
    szhou42/osdev
    虚拟内存✔
    硬盘驱动,EXT2文件系统,虚拟文件系统✔
    简陋的GUI界面✔
    多进程(烂尾楼 :) )✔
    网络数据收发(只是简单收发raw packets,各种网络协议还在写)✔




    这是我学习过程中用到的主要网站和资料

    BrokenThorn Entertainment

    Global Descriptor Table

    Unofficial Mirror for JamesM's Kernel Development Tutorial Series

    Expanded Main Page


    Build software better, together :)

    楼上大神全是几千字长文看起来有点怕,我简明扼要地说一些写OS的重要心得吧

    1 教程上没看懂的代码千万不要照抄,最好在自己理解的基础上重新写一遍。我在看JamesM's Kernel教程的paging部分时就吃了这个亏,全盘抄了他的代码,结果发现他的代码总有神奇的bugs让你的os崩溃。结果我把写了一个半月的代码全部推翻,在完全理解后自己重新写出来的paging代码,不能说完全没bugs吧,至少现在已经四五个月了都没有再因为paging部分的代码而使os崩溃。

    2 搭建方便使用的调试器,我个人用的是qemu+gdb配合,源码级调试

    3 在os最基础的设施(中断,异常,VGA driver)都实现后,马上写个printf和hexdump函数,因为有一些极端情况,gdb下断点+单步跟踪+观察变量 这种办法会失效 :(。

    4 快点写个malloc函数!越快越好!!文件系统,进程管理,GUI这些都需要用到大量的数据结构,而最方便的方法就是用malloc来申请和释放这些结构。

    最后,说一下os开发的流程,这只是我个人的路线。
    第一步,很多人会想写bootloader,但是我建议先跳过这一步,直接用grub或者qemu的自带bootloader,先跳过这些繁琐的细节,专注于OS内核的开发。

    第二步,建立好各种gdt,idt,中断,异常等机制,这样系统出什么错的时候马上就能发现。

    第三步,printf函数,这意味着你得先写VGA driver,但两者都不难

    第四步,实现虚拟内存和分页机制,在此基础上实现kmalloc函数。

    第五步,实现多进程/线程

    第六步,写个PCI驱动!PCI是用来访问各种硬件的,例如硬盘,网卡,都得通过PCI来控制,实际上我就是因为想写硬盘驱动,才写的PCI驱动。

    第七步,写硬盘驱动,实现EXT2文件系统,实现VFS文件系统。

    第八步,GUI,设计一种数据结构存储和显示各种窗口。初步可以用VGA试验一下编写图形操作系统的乐趣,但是要想有高分辨率 真彩色还是得写VESA驱动才能得到。 很多人觉得图形操作系统很酷炫,但这反而是写OS里面最简单,最容易调试的一步(当然了要做VESA驱动还是很麻烦,因为在保护模式下没法用中断调用)。

    第九步,实现网卡驱动,实现TCP/IP协议栈!

    第十步,发挥你的想象!Network File System maybe?

    编辑于 2017-01-05

    ​赞同 33​​2 条评论

    ​分享

    ​收藏​感谢收起​

    frank yao

    frank yao

    虎妈猫爸

    19 人赞同了该回答

    我大约是在08-09年的时候写过一个迷你的操作系统。大家可以在这里看到我的源代码 https://code.google.com/p/minios2/。当时这个项目完全是自己的兴趣爱好。后来代码较多了觉得需要花费过多的精力不合适就放弃了。

     

    整个项目是从0开始的。因为主要在windows上开发,所以主力编译器是msvc6.0。虽然说很不可思议。但是当你明白了编译链接的原理以及PE文件的格式之后,这其实并不难。当然现在如果用高版本的msvc写的话会更容易。

     

    另一个难点是需要寻找以及阅读大量的资料。包括比如386保护模式,bios调用,8259中断控制器,pci总线控制器,8253时钟控制器,ATA硬盘控制器,各种以太网卡控制器等。当时这些资料在网上非常分散,收集很不容易。现在貌似好找多了。

     

    另外你需要对数据结构,计算机体系结构以及操作系统原理有一定的了解。这个基本上本科和研究生课程里的知识就足够了。当然你也要有足够的编程经验,因为有些错误可能会很难调试。


     

    以下是我当时写的一个简单的文档。

    minios目前已经完成的功能:

    bootsector

    进入保护模式

    内存分配模块

    简单的线程调度模块

    信号量

    时钟

    延时调用DPC和定时调用TPC

    统一的设备驱动模型

    标准输入输出设备驱动

    内存及字符串相关的标准C库函数

    附件codes.zip的目录结构如下:

    codes

    |-relocate 连接程序的源代码,将bootsector和minios连接成一个可启动的磁盘镜像

    |-bootsector bootsector的源代码

    |-minios minios的源代码

    |-bin 所有的目标都在此目录中。其中minios.vhd就是可启动的磁盘镜像

    如何启动minios:

    你必须安装Microsoft的Virtual PC 2007

    你可以在微软的官方网站下载他的安装程序,程序大小约30M

    http://download.microsoft.com/download/8/5/6/856bfc39-fa48-4315-a2b3-e6697a54ca88/32%20BIT/setup.exe

    安装完成后就可以双击codes/bin/vm.vmc运行minios了

    如何编译minios:

    编译minios共需要三种编译器。

    codes/bootsector/bootsector.asm必须用nasm进行编译,将编译的结果命名为bootsector并且拷贝到codes/bin

    codes/minios/platform/platform.asm必须用masm32进行编译,编译的结果在codes/minios/platform/platform.obj

    其余的代码都用vc6编译即可,vc6的工程在codes/minios/minios.dsw

    如果你手边没有nasm和masm32,不要紧,因为这两个文件一般不需要改动,直接用我编译好的目标文件就可以了

    双击minios.dsw打开vc6,点击菜单Project->Project Setting->Debug,修改Executable for debug session一栏

    将Virtual PC.exe的完整路径填入。如果你安装在默认的路径下,就不需要修改它。

    然后直接Ctrl-F5运行就可以编译并且运行了。

     

    vc工程是在dll的工程的基础上配置的

    1、将所有相关的文件加到工程中来。

    2、由于对于debug版本的代码生成,vc会加入不少调试代码,不好控制,所以删除Win32 Debug的配置

    3、由于默认的Release配置中,会加入Intrinsic Functions的优化,他会用vc libc中的函数代替你写的标准C语言库函数。因此必须自定义优化方案。project setting->C++->Optimizations选customize并且勾上除了Assume No Aliasing, Generate Intrinsic Functions, Favor Small Code, Full Optimization外的优化选项。

    4、在project setting->C++->Preprocessor->Additional include directories中加入include这个目录,并且勾上Ignore standard include paths

    5、project setting->Link中,output file name改成../bin/minios.dll。勾上Ignore all default libraries和Generate mapfile, object/libraty modules中的内容清空

    6、project setting->Link->Debug中mapfile name改成../bin/minios.map,project setting->Link->Output中Entry-point symbol改成main

    7、project setting->post-build step中添加一行"../bin/relocate.exe" ../bin/minios.dll ../bin/bootsector ../bin/minios.vhd

    8、project setting->Debug中Executable for debug session改成C:\Program Files\Microsoft Virtual PC\Virtual PC.exe,working directory改成../bin,Program arguments改成-singlepc -pc vm -launch

    如果我没有忘记什么的话,应该就这些了。这样你的vc就可以编译minios的原代码了。编译的结果在../bin/minios.dll

    为什么使用dll的工程呢?

    因为windows的dll中有一个relocation的段,他列出了该dll文件如果要重定位的话所有需要修改的地址偏移。假设dll默认的加载位置是0x10000000,而在minios中我希望把它定位在0x400000则只需要把重定位表的每一项所指向的地址减去(0x10000000- 0x400000)就可以了。这也是relocate.exe这个程序的主要工作。

    至于具体pe文件的结构以及重定向表的结构,网上有很多,我手边暂时没有资料,可以参看relocate.exe的原代码

    minios的引导过程和内存布局

    首先,pc机的bios程序会将bootsector加载到0x7C00, 此时段寄存器的值我也不大清楚,但是不要紧,自己重新设一遍吧。把ds, es, ss都设成cs一样的值,把sp放在0x8000的位置上,这样我们就有了512字节的堆栈了。

    然后,bootsector将minios读出放在从0x400000开始的内存空间上。随后bootsector简单的设置了GDT后直接进入保护模式并且将控制权交给minios的entrypoint。从0x100000到0x3fffff是内核堆,内核所需要的动态内存都可以从此堆上使用keMalloc和keFree分配。内存最低的4K字节被用来存放中断向量指针,就像纯DOS那样。从0x4000开始到0x8000存放了PCI总线配置数据块。从0x10000到0x1ffff的64K字节用来作为IDE的DMA内存块,其他的低端内存暂时还没有分配,可能会作为文件系统的缓存。

    main函数先重新配置了8259中断控制器,8253时钟控制器,设置了IDT GDT,初始化时钟,内核堆和任务子系统后,建立了第一个任务main,入口是keEntryMain

    keEntryMain首先打开中断并且加载console和keboard的驱动,然后建立DPC任务,kdebug任务以及一个测试任务

    编辑于 2015-11-11

    ​赞同 19​​1 条评论

    ​分享

    ​收藏​感谢收起​

    Pandaos

    Pandaos

    不会数学的信安菜狗,立志转行生物信息学,三本肄业

    15 人赞同了该回答

    (年代久远凭记忆写,有错误请指出)

    已经过去五年了,现在想起来仍然觉得热血沸腾,致那个中二的年纪~~ ~我已经很久没碰代码了,现在很迷茫,偶然看到这个话题,才回想起来我曾经也是一个有梦想的少年。

     

    我曾经学习8086汇编的时候,有幸认识了一个开发OS的朋友,他为我打开了一个新世界的大门。他建立了一个QQ群里来交流OS开发心得。。开发OS的有两类人,一类是喜欢技术喜欢折腾的,另外一类是喜欢拉帮结派搞计划的。我很反感第二类,个人写的OS顶多就是用来学习底层知识的,上不了台面,有些人非觉得自己很牛逼要搞点大事情出来。我是一个比较保守的人,很长一段时间对这些写OS的人嗤之以鼻,我觉得他们写的就是一个裸机程序,有的代码量还没我用易语言写的QQ机器人的代码多,竟然自称OS?

     

    我在开发OS之前翻了翻《Windows 内核情景分析》。当时还在学习Windows内核驱动,这本书可以学习ReactOS(仿WinNT内核)各方面的实现,比如系统调用,内存分配等等。书分为上下两册,很厚,其实我看得云里雾里的。还看过Linux内核源码剖析方面的书籍。我那个时候看过很多书,但是都很晕。可贵的是我有心思去看,去思考。现在再让我看这些书籍,我心里不太愿意,长大了,开始变得功利起来。

     

    入门一般从引导程序开始,引导程序存储在mbr,加电后,cpu默认处于实模式。实模式下的汇编主要可以参考王爽的汇编教材。一般mbr引导程序只有几百个字节大小,所以需要完成进一步加载,加载一个更大的引导程序。 初始化过程中需要把CPU切到保护模式,保护模式的书籍可以参考李忠的《href="http://www.baidu.com/link?url=hRMBwBQb7-jpSQFzdNVo1HCEb4szWKlw6-duNjU1WF_yb2qs0noVLcGOlnMebUoWkZgCKOlbAsOLZwbOWUQ46_">x86汇编语言 从实模式到保护模式完整版》 。如果还想专业一点可以参考《x86/x64体系探索及编程 (邓志)》或者intel的官方手册。《30天自制操作系统》我个人不太喜欢,感觉没有oranges专业。

     

    引导程序都是用汇编写的,即使一个再简单的内核也需要很多代码,全用汇编不太现实。引导程序需要想办法加载用高级语言编写的程序。现在的编译器目标二进制比较常见的是elf和pe,这就需要进一步学习elf或pe文件结构知识。建议选elf,装载器有源码参考。解析文件格式可能很繁琐,也可以直接将elf或pe中的bin脱出来用或者自己设计文件格式,但是要考虑重定位等问题。

     

    我折腾OS的时候,基础数理知识极度欠缺,比如画图只会画直线,于是放弃了UI开发路线,转向命令行模式。内存分配,各种乱七八糟的算法都搞不懂,于是自己意淫了一种方法出来,碎片?不存在的,反正目前阶段内存是用不完的。。。后来,学pwn的时候认真阅读了glibc的malloc实现,才感觉到曾经的方法是多么弱智。

    我写OS之前写过一段时间win驱动,对windbg极度依赖,寻思着能不能用易语言搞一个类似的调试器,折腾一段时间后我放弃了。串口通信搞定了,搞不定如何单步,各种莫名奇妙的错误。根本原因还是OS的很多基本工作没有做完就想着做调试体系,而且没有任何一本书讲过这个。后来干脆模仿windows蓝屏,把错误信息打在屏幕上。

    文件系统。我对实用性有着很高的追求,自己实现简易文件系统虽然来得快(不健全有文件系统的样子),但是不实用。于是选择先折腾fat32,这又是一个巨坑。后来,我发现网传的硬盘读写方法巨坑,只有ide能用,这是我放弃开发的原因之一。

     

    总之,写os不要觉得自己在搞大事,我们都是学习者。

    编辑于 2019-05-04

    ​赞同 15​​2 条评论

    ​分享

    ​收藏​感谢收起​

    林瑟

    林瑟

    嘟嘟嘟嘟嘟嘟嘟

    17 人赞同了该回答

    照片删掉了,大家专心看技术吧

    终于!!!一个混大数据圈的我也能有朝一日来回答这个话题了。请在座的各位多多包涵,下面我就要开始我的表演了!!!

    先把我的原文地址安排在这里,请大家走过路过不要错过,随手点击支持一下我这个可爱的女程序员吧(你支持我我支持我导师:):

    操作系统基础: C 语言实现用户态线程(实战)​gitbook.cn图标

     

    ——————一本正经的美颜分割线————————

    之前我上大学老师讲的时候大概说过这个操作系统的知识,那会只知道是最底层的语言,了解原理活学活用就行,之后开始工作了也没用得上,就渐渐都忘干净了,直到有一天重新抹着泪捡起来,这个过程也挺有意思的呢。

    我从零开始捡起的时候,主要是学习了线程切换和角度,看了大量的操作系统的书,还有 Linux 的源码甚至反汇编了 Windows 的内核代码吧啦吧啦的,反正最后没看懂!!(简直闻着伤心听者落泪呜呜呜)

    爆哭

    书和源码都太抽象了,学起来超级困难的呀,但是因为第一份工作,要懂那些用户态线程的基本知识,但我这方面的基本功还不扎实,那段日子我都瘦了(想想还是很难过...)后来我听公司的前辈们说 Golang 的 Goroutine,鹅场开源的 libco,狼场 BRPC 中的 bhtread 都离不开这个,我也只好硬着头皮去搞了。

     

    好的各位哥哥前辈们,我的硬核知识来了,先安排一下我的实验环境(突然正经:)

    • ubuntu 16.04 32 位操作系统(最好是提前安装好哦);
    • 挑选一个你觉得好用的虚拟机软件,比如 VMWare;
    • 把虚拟机环境配置成单核 CPU。

    呵 这么复杂的内容,想不到吧,我自己还搞了四五个小时呢!!

    但是你肯定要问了,这都 9012 年了为啥还在用 32 位的系统尼??!

    毕竟是初学者,请各位大佬谅解谅解哈,我也是为了快速掌握原理嘛

    最后的效果图就是这样滴~~

    oh 对了 我用 C 语言搞出来了,果然我大学老师说得没错, C 简直是万能的啊,只有想不到,没有做不到!!

    想给大家提醒的是,上面的代码,并没有使用操作系统为我们提供的pthread系列函数,thread_createthread_join函数都是自己纯手工实现的。唯一使用操作系统的函数就是设置时钟,因此会有时钟信号产生,这一步是为了模拟时间片轮转算法而做的。

    贴一段我上面动图的 demo 示例代码:

    这篇文章预计是个长文,所以可能不会一下子更新完毕。。。。。

    所以先把我要说的一些点列出:

    • 控制流切换原理
    • 上下文切换
    • 线程设计
    • 调度函数的封装与代码模块化
    • 线程的主动切换
    • 时间片轮转调度

    小姐妹叫我吃饭了哈哈哈哈哈哈回来再更吧哈哈哈哈哈哈

    恰饭!!

    ——————第二天的分割线——————

    哦果然,没人注意到我这个小透明,那我可以放心叭叭叭了。这篇教程来自于我在公司的导师,简直拯救我于水火中的大佬,所以来炫耀一下成果哈哈哈哈哈

    早起更新,先来说一下控制流切换原理

    控制流,指的是一系列按顺序执行的指令。多控制流,是指存在两个或两个以上可以并发(宏观同时,微观不同时)执行的指令序列。比如你编写的多线程程序,每个线程就可以看成是一个控制流,多个线程允许多个控制流一起执行。

    在我们学习编程的时候,如果不借助操作系统提供的线程框架,几乎无法完成多控制流的运行的。

    接下来先来剖析一下,我们的指令如何”莫名奇妙“的就切换到其它线程的。

    1.1 指令执行

    不管你用的是什么语言编程,最后都要落实到 CPU 上,而 CPU 只认识它自己的语言,机器语言。机器语言可以抽象出对应 CPU 架构的汇编指令。如下面的 x86 指令序列。

    程序在执行时,实际上就是汇编指令(准确的说是机器指令)在 CPU 上一条一条执行。对于单核 CPU 来说,永远只有一条控制流,也就是只有一条指令序列。所以,宏观上模拟的多线程程序,本质上还只是单控制流,所谓的多线程,只不过是一种被制造出来的假像!

    注:有部分同学没有接触过汇编指令,不要害怕,我们用到的汇编不会太难!

    1.2 控制流切换(x86 CPU 架构)

    汇编指令在执行的时候,最重要地方在于它需要依赖 CPU 环境:

    • 一套通用寄存器 (eax、edx、ecx、ebx、esp、ebp、esi、edi);
    • 标志寄存器 eflags;
    • 指令寄存器 eip (eip 用来保存下一条要被指令的地址)。

    如果你不理解 CPU 寄存器是什么意思,把它想象成它是 CPU 中预先定义好的变量。也不知道大家有没有看懂唉,我觉得我导师这里讲的还是蛮清楚的啊啊啊啊啊啊真的佩服了!!大佬就是我学习的榜样啊喂!

    操作系统基础: C 语言实现用户态线程(实战)​gitbook.cn图标

    如果各位有更好的方法在评论区给我留言讨论一下哦,不然我就默默更贴了。。。。

    还有一个很重要环境,就是。因为指令序列在执行时,经常会保存一些临时数据,比如某条指令的地址。当指令执行 ret 指令的时候,CPU 会从当前栈顶弹出一个值到 eip 寄存器!这意味着要发生跳转了!

    通用寄存器中,有一个寄存器名为 esp,它保存的是栈顶指针(内存地址的值)。指令 push 、 pop、call、ret 都依赖于 esp 工作。

    • call 指令把它后面的指令地址保存到 esp 指向的内存单元,同时修改 eip。如 call 0x2000,先把 call 0x2000 的下一条指令地址压栈,同时修改 eip 为 0x2000。
    • ret 指令把 esp 指向的内存单元中的值保存到 eip。
    • push 指令把值保存到 esp 指向的内存单元。
    • pop 把 esp 指向的内存单元的值取出。

     

    图2 CPU 寄存器 esp 与内存单元的关系,右侧表示运行栈

    想象一下,如果某个时候,我们把 esp 保存的数据 “偷偷” 换了,换句话说我们是把栈换了,而栈中保存的那个“某条指令”的地址的值也不一样了,将会发生什么?图3 把 esp 的值从 0xFFE8 更改成了 0x1FFE8。

     

    图3 切换 esp 即切换栈

    所谓的切换控制流,无非就是更改 esp 栈顶指针来做到偷梁换柱的把戏而已。只不过,为了做到惟妙惟肖,我们在更改 esp 的时候,还得顺带的把通用寄存器环境修改修改,以适应新的那段“某条指令”的执行环境。(注意,栈中经常会保存某条指令的地址,比如函数的返回地址。)

    通常,这段新的“某条指令”的执行环境,恰好也保存在栈里,就像上图中 esp 到“某条指令地址”之间那段内存的数据(五颜六色的那部分数据)。

    说了这么多,其实也很抽象对不对,大家可以去看我导师举的栗子,还是很一目了然的,我就不在这里贴出来了,为什么呢。因为他写的文章太长太长又太详细,需要去专心的读,再加上动手操作试试,我当初看到这篇指导教程的时候作为徒弟内心有一万个不服,我就不信自己一个外行的看完了就能搞明白???????

    然而事实证明,我打脸了,我导师的这篇文,真的很强,不会是狼场的码农,真的够狠!!!剩下的文章,大家点上面的原文链接去看吧,我可能有点佛系不会按时更新(说白了就是忙。。。)

    好嘞,我们下次更新时再见吧!!请走过路过的小哥哥小姐姐们给我点个赞吧,谢谢哦~

    编辑于 2019-05-08

    ​赞同 17​​8 条评论

    ​分享

    ​收藏​感谢收起​

    我现在只想搞钱

    我现在只想搞钱

    23 人赞同了该回答

    这个问题码了得有一两年了。。终于算是有资格来回答这个问题。


    先上代码

    项目地址:MRNIU/SimpleKernel

    这是我正在写的内核,目的是尽量让刚刚接触的人可以基于已有代码拓展出自己的内核来。

    • 基本信息

    语言:C/C++, shell, x86 ATT Assembly

    启动:GRUB2

    Kernel Model:宏内核

    虚拟机:bochs

    支持平台:Linux/Mac

    • 进度

    已完成:

    1. GDT、IDT 的基本设置
    2. 键盘输入
    3. libc 中的部分函数
    4. 中断体系的框架

    TODO:

    1. 内存管理
    2. debug
    3. 进程
    4. 图形界面
    5. POSIX API
    6. 设备管理
    7. 网络
    8. etc.

    目前正在将启动支持迁移到 multiboot2,顺便把内存管理和 debug 的部分前置内容做了。

    这是目录结构

    ├── bochsout.txt bochs 输出
    ├── bochsrc.txt bochs 配置文件
    ├── setup.sh
    ├── simplekernel.img
    ├── someknowledge
    ├── src/ 源码目录
    │   ├── Makefile 构建规则
    │   ├── arch/ 架构相关代码
    │   │   ├── README.md
    │   │   ├── i386/ i386 架构
    │   │   │   ├── README.md
    │   │   │   ├── boot/ 启动代码,使用 multiboot
    │   │   │   │   ├── boot.s
    │   │   │   │   └── link.ld
    │   │   │   ├── clock.c 时钟
    │   │   │   ├── clock.h
    │   │   │   ├── cpu.hpp CPU操作
    │   │   │   ├── debug/ 调试函数
    │   │   │   │   └── debug.c
    │   │   │   ├── intr/ 中断设置
    │   │   │   │   ├── README.md
    │   │   │   │   ├── intr.c idt 设置
    │   │   │   │   ├── intr.h
    │   │   │   │   └── intr_s.s
    │   │   │   └── mm/ 内存管理
    │   │   │       ├── README.md
    │   │   │       ├── gdt.c gdt 设置
    │   │   │       ├── gdt.h
    │   │   │       ├── gdt_s.s
    │   │   │       ├── pmm.c 物理内存管理
    │   │   │       ├── pmm.h
    │   │   │       ├── vmm.c 虚拟内存管理
    │   │   │       └── vmm.h
    │   │   └── x64/ x64 架构
    │   │       └── TODO
    │   ├── include/ 头文件
    │   │   ├── DataStructure/ 可能会用到的数据结构与算法
    │   │   │   ├── BinarySearchTree.cpp 二叉树
    │   │   │   ├── DataStructuer.h
    │   │   │   ├── LinkedList.cpp 链表
    │   │   │   ├── Queue.cpp 队列
    │   │   │   ├── SortAlgorithm.cpp 排序算法
    │   │   │   └── Stack.cpp 栈
    │   │   ├── README.md
    │   │   ├── debug.h
    │   │   ├── drv/ 设备头文件
    │   │   │   ├── keyboard.h
    │   │   │   └── mouse.h
    │   │   ├── elf.h elf 格式定义
    │   │   ├── kernel.h 内核函数直接引用的头文件
    │   │   ├── libc/ c 标准库
    │   │   │   ├── README.md
    │   │   │   ├── assert.h 断言
    │   │   │   ├── stdarg.h
    │   │   │   ├── stdbool.h
    │   │   │   ├── stddef.h
    │   │   │   ├── stdint.h
    │   │   │   ├── stdio/ 标准输入输出
    │   │   │   │   ├── printk.c
    │   │   │   │   └── vsprintf.c
    │   │   │   ├── stdio.h
    │   │   │   ├── string/ 字符串处理
    │   │   │   │   └── string.c
    │   │   │   ├── string.h
    │   │   ├── mm/ 内存相关头文件
    │   │   │   ├── README.md
    │   │   │   └── mm.h
    │   │   ├── multiboot.h 多重引导规范定义
    │   │   ├── pic.hpp 8259A 中断芯片设置
    │   │   ├── port.hpp 端口操作
    │   │   ├── tty.hpp tty 定义
    │   │   └── vga.hpp vga 显示定义
    │   └── kernel/
    │       ├── README.md
    │       ├── drv/ 设备
    │       │   ├── kb.c
    │       │   └── mouse.c
    │       └── kernel.c 内核入口
    └── tools/ 工具,在 .rb 文件中你可以找到 gcc 和 binutils 的编译选项
        ├── i386-elf-binutils.rb
        └── i386-elf-gcc.rb
    
    
    

    欢迎讨论

    发布于 2019-01-07

    ​赞同 23​​2 条评论

    ​分享

    ​收藏​感谢收起​

    Coldwings

    Coldwings

    Python 话题的优秀回答者

    6 人赞同了该回答

    操作系统这玩意…并不是都像windows那样图形界面一堆工具,甚至不像linux发行版那样带一堆命令行工具。
    以linux为例,图形界面就不说了命令行?那是bash,是个独立软件包,人家在bsd在unix在darwin上都跑得妥妥的。
    一个纯粹的操作系统,其实只是定义了驱动接口(用别人的驱动),定义了最简单的进程调度管理,定义了内存分配。这就已经是操作系统了。
    所以写一个新的操作系统真的真的不是特别困难。困难的是你的os出来之后除了你自己大概是不会有人给他写驱动写程序的,除非用户多;啥都没有的os不会有人用。于是恶性循环…

    发布于 2015-02-08

    ​赞同 6​​1 条评论

    ​分享

    ​收藏​感谢

    lizhimeng159

    lizhimeng159

    知易行难/INTJ

    13 人赞同了该回答

    寒假开始有个想法,突然想写一个最简单的操作系统,基于单片机的。

    于是找人借来学校索奥社团的板子,历时四天,写了个atmega16的os内核,能实现,任务调度,任务内嵌信号量,任务延迟,具体效果如下

     

    大概就是这样的
    任务建立如下如图

    三个任务

    流水灯,蜂鸣器,数码管。

    之后再更具体制作过程和所需要求。

    (突然发现不能放视频....哪一张图片那闪几个灯的自动忽略吧,本来想发一下跑任务的视频的)

    一,关于所需要的(储备)知识

    1,微机原理

    emmmm,用到的有关微机原理的东西就是 汇编

    能用到的指令大概就是 POP 和 PUSH这种级别的..

    然后需要知道 堆栈保存现场的原理

    2,单片机原理及其应用

    主要是,这个内核是基于单片机的,还是基于AVR单片机,所以就不说哪些高大上的linux什么东西。

    中断和定时器得知道怎么回事吧。

    主要是知道SP(堆栈指针),PC(程序计数器)是怎么回事,并且在什么时候(主动或者被动)修改他们

    3,C语言

    这里面用到的C语言也就有下面几个东西

    指针(如函数指针等),struct,typedef ,与或运算,for循环,while等等,

    有点编程基础都会。

    4,单片机RTOS

    这个,我觉得会不会无所谓吧,说到底这个内核是超简单的内核,没用什么算法,遍历什么的都是for循环....简而言之,就是,简单易懂原理。

    二,原理概述

    不如我打个比方。

    假设人A在一个屋子里,屋子里有三个房间,分别是卧室,客厅,厨房,主人要在一上午的时间里完成如下事情。

    事情一:

    卧室很乱,需要人打扫整理。

    事情二:

    电话在客厅里,有可能别人来打电话谈事情。

    事情三:

    厨房正在烧水,到水烧开后,主任A要去厨房断点拿水壶。

    论重要性,则有水烧开后拿水壶>接电话>收拾卧室。

    场景:

    1,A在收拾卧室,此时电话响了,A停止收拾,卧室现场被保存(卧室不变)

    2,A去客厅接电话讨论事情,在接电话过程中,水烧开了,水壶给出信号,A给对方说,先停止这个讨论,讨论内容此时被记录(下次结着这次内容继续讨论)

    3,A去厨房处理水壶,处理完成







     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    展开全文
  • 零开始写一个RTSP服务器(五)RTP传输AAC

    千次阅读 多人点赞 2019-08-11 16:12:59
    零开始写一个RTSP服务器系列 零开始写一个RTSP服务器()不一样的RTSP协议讲解 零开始写一个RTSP服务器(二)RTSP协议的实现 零开始写一个RTSP服务器(三)RTP传输H.264 零开始写一个RTSP服务器(四)...

    从零开始写一个RTSP服务器系列

    ★我的开源项目-RtspServer

    从零开始写一个RTSP服务器(一)RTSP协议讲解

    从零开始写一个RTSP服务器(二)RTSP协议的实现

    从零开始写一个RTSP服务器(三)RTP传输H.264

    从零开始写一个RTSP服务器(四)一个传输H.264的RTSP服务器

    从零开始写一个RTSP服务器(五)RTP传输AAC

    从零开始写一个RTSP服务器(六)一个传输AAC的RTSP服务器

    从零开始写一个RTSP服务器(七)多播传输RTP包

    从零开始写一个RTSP服务器(八)一个多播的RTSP服务器

    从零开始写一个RTSP服务器(九)一个RTP OVER RTSP/TCP的RTSP服务器

    从零开始写一个RTSP服务器(五)RTP传输AAC


    本文实现目标:使用vlc打开sdp文件可以听到音频

    一、RTP封装

    这一部分在前面的文章已经介绍过,放到这里只是怕你没有看前面的文章

    1.1 RTP数据结构

    RTP包格式前面已经比较详细的介绍过,参考从零开始写一个RTSP服务器(一)不一样的RTSP协议讲解

    看一张RTP头的格式图回忆一下

    在这里插入图片描述

    每个RTP包都包含这样一个RTP头部和RTP载荷,为了方便,我将这个头部封装成一个结构体,还有发送包封装成一个函数,下面来看一看

    • RTP头结构体
    /*
     * 作者:_JT_
     * 博客:https://blog.csdn.net/weixin_42462202
     */
    
      struct RtpHeader
      {
          /* byte 0 */
          uint8_t csrcLen:4;
          uint8_t extension:1;
          uint8_t padding:1;
          uint8_t version:2;
      
          /* byte 1 */
          uint8_t payloadType:7;
          uint8_t marker:1;
          
          /* bytes 2,3 */
          uint16_t seq;
          
          /* bytes 4-7 */
          uint32_t timestamp;
          
          /* bytes 8-11 */
          uint32_t ssrc;
      };
    

    其中的:n是一种位表示法,这个结构体跟RTP的头部一一对应

    • RTP的发包函数

      RTP包

      struct RtpPacket
      {
          struct RtpHeader rtpHeader;
          uint8_t payload[0];
      };
      

      这是我封装的一个RTP包,包含一个RTP头部和RTP载荷,uint8_t payload[0]并不占用空间,它表示rtp头部接下来紧跟着的地址

      RTP的发包函数

      /*
       * 函数功能:发送RTP包
       * 参数 socket:表示本机的udp套接字
       * 参数 ip:表示目的ip地址
       * 参数 port:表示目的的端口号
       * 参数 rtpPacket:表示rtp包
       * 参数 dataSize:表示rtp包中载荷的大小
       * 放回值:发送字节数
       */
      int rtpSendPacket(int socket, char* ip, int16_t port, struct RtpPacket* rtpPacket, uint32_t dataSize)
      {
          struct sockaddr_in addr;
          int ret;
      
          addr.sin_family = AF_INET;
          addr.sin_port = htons(port);
          addr.sin_addr.s_addr = inet_addr(ip);
      
          rtpPacket->rtpHeader.seq = htons(rtpPacket->rtpHeader.seq);
          rtpPacket->rtpHeader.timestamp = htonl(rtpPacket->rtpHeader.timestamp);
          rtpPacket->rtpHeader.ssrc = htonl(rtpPacket->rtpHeader.ssrc);
      
          ret = sendto(socket, (void*)rtpPacket, dataSize+RTP_HEADER_SIZE, 0,
                          (struct sockaddr*)&addr, sizeof(addr));
      
          rtpPacket->rtpHeader.seq = ntohs(rtpPacket->rtpHeader.seq);
          rtpPacket->rtpHeader.timestamp = ntohl(rtpPacket->rtpHeader.timestamp);
          rtpPacket->rtpHeader.ssrc = ntohl(rtpPacket->rtpHeader.ssrc);
      
          return ret;
      }
    

    仔细看这个函数你应该可以看懂

    我们设置好一个包之后,就会调用这个函数发送指定目标

    这个函数中多处使用htons等函数,是因为RTP是采用网络字节序(大端模式),所以要将主机字节字节序转换为网络字节序

    下面给出源码,rtp.hrtp.c,这两个文件在后面讲经常使用

    1.2 源码

    rtp.h

    /*
     * 作者:_JT_
     * 博客:https://blog.csdn.net/weixin_42462202
     */
    
    #ifndef _RTP_H_
    #define _RTP_H_
    #include <stdint.h>
    
    #define RTP_VESION              2
    
    #define RTP_PAYLOAD_TYPE_H264   96
    #define RTP_PAYLOAD_TYPE_AAC    97
    
    #define RTP_HEADER_SIZE         12
    #define RTP_MAX_PKT_SIZE        1400
    
    /*
     *
     *    0                   1                   2                   3
     *    7 6 5 4 3 2 1 0|7 6 5 4 3 2 1 0|7 6 5 4 3 2 1 0|7 6 5 4 3 2 1 0
     *   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
     *   |V=2|P|X|  CC   |M|     PT      |       sequence number         |
     *   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
     *   |                           timestamp                           |
     *   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
     *   |           synchronization source (SSRC) identifier            |
     *   +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
     *   |            contributing source (CSRC) identifiers             |
     *   :                             ....                              :
     *   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
     *
     */
    struct RtpHeader
    {
        /* byte 0 */
        uint8_t csrcLen:4;
        uint8_t extension:1;
        uint8_t padding:1;
        uint8_t version:2;
    
        /* byte 1 */
        uint8_t payloadType:7;
        uint8_t marker:1;
        
        /* bytes 2,3 */
        uint16_t seq;
        
        /* bytes 4-7 */
        uint32_t timestamp;
        
        /* bytes 8-11 */
        uint32_t ssrc;
    };
    
    struct RtpPacket
    {
        struct RtpHeader rtpHeader;
        uint8_t payload[0];
    };
    
    void rtpHeaderInit(struct RtpPacket* rtpPacket, uint8_t csrcLen, uint8_t extension,
                        uint8_t padding, uint8_t version, uint8_t payloadType, uint8_t marker,
                       uint16_t seq, uint32_t timestamp, uint32_t ssrc);
    int rtpSendPacket(int socket, char* ip, int16_t port, struct RtpPacket* rtpPacket, uint32_t dataSize);
    
    #endif //_RTP_H_
    

    rtp.c

    /*
     * 作者:_JT_
     * 博客:https://blog.csdn.net/weixin_42462202
     */
    
    #include <sys/types.h>
    #include <sys/socket.h>
    #include <arpa/inet.h>
    #include <netinet/in.h>
    #include <arpa/inet.h>
    
    #include "rtp.h"
    
    void rtpHeaderInit(struct RtpPacket* rtpPacket, uint8_t csrcLen, uint8_t extension,
                        uint8_t padding, uint8_t version, uint8_t payloadType, uint8_t marker,
                       uint16_t seq, uint32_t timestamp, uint32_t ssrc)
    {
        rtpPacket->rtpHeader.csrcLen = csrcLen;
        rtpPacket->rtpHeader.extension = extension;
        rtpPacket->rtpHeader.padding = padding;
        rtpPacket->rtpHeader.version = version;
        rtpPacket->rtpHeader.payloadType =  payloadType;
        rtpPacket->rtpHeader.marker = marker;
        rtpPacket->rtpHeader.seq = seq;
        rtpPacket->rtpHeader.timestamp = timestamp;
        rtpPacket->rtpHeader.ssrc = ssrc;
    }
    
    int rtpSendPacket(int socket, char* ip, int16_t port, struct RtpPacket* rtpPacket, uint32_t dataSize)
    {
        struct sockaddr_in addr;
        int ret;
    
        addr.sin_family = AF_INET;
        addr.sin_port = htons(port);
        addr.sin_addr.s_addr = inet_addr(ip);
    
        rtpPacket->rtpHeader.seq = htons(rtpPacket->rtpHeader.seq);
        rtpPacket->rtpHeader.timestamp = htonl(rtpPacket->rtpHeader.timestamp);
        rtpPacket->rtpHeader.ssrc = htonl(rtpPacket->rtpHeader.ssrc);
    
        ret = sendto(socket, (void*)rtpPacket, dataSize+RTP_HEADER_SIZE, 0,
                        (struct sockaddr*)&addr, sizeof(addr));
    
        rtpPacket->rtpHeader.seq = ntohs(rtpPacket->rtpHeader.seq);
        rtpPacket->rtpHeader.timestamp = ntohl(rtpPacket->rtpHeader.timestamp);
        rtpPacket->rtpHeader.ssrc = ntohl(rtpPacket->rtpHeader.ssrc);
    
        return ret;
    }
    

    二、AAC的RTP打包

    2.1 AAC格式

    AAC音频文件有一帧一帧的ADTS帧组成,每个ADTS帧包含ADTS头部和AAC数据,如下所示

    在这里插入图片描述

    ADTS头部的大小通常为7个字节,包含着这一帧数据的信息,内容如下

    在这里插入图片描述

    在这里插入图片描述

    各字段的意思如下

    • syncword

      总是0xFFF, 代表一个ADTS帧的开始, 用于同步.

    • ID

      MPEG Version: 0 for MPEG-4,1 for MPEG-2

    • Layer

      always: ‘00’

    • protection_absent

      Warning, set to 1 if there is no CRC and 0 if there is CRC

    • profile

      表示使用哪个级别的AAC,如01 Low Complexity(LC) – AAC LC

    • sampling_frequency_index

      采样率的下标

      在这里插入图片描述

    • aac_frame_length

      一个ADTS帧的长度包括ADTS头和AAC原始流

    • adts_buffer_fullness

      0x7FF 说明是码率可变的码流

    • number_of_raw_data_blocks_in_frame

      表示ADTS帧中有number_of_raw_data_blocks_in_frame + 1个AAC原始帧

    这里主要记住ADTS头部通常为7个字节,并且头部包含aac_frame_length,表示ADTS帧的大小

    2.2 AAC的RTP打包方式

    AAC的RTP打包方式并没有向H.264那样丰富,我知道的只有一种方式,原因主要是AAC一帧数据大小都是几百个字节,不会向H.264那么少则几个字节,多则几千

    AAC的RTP打包方式就是将ADTS帧取出ADTS头部,取出AAC数据,每帧数据封装成一个RTP包

    需要注意的是,并不是将AAC数据直接拷贝到RTP的载荷中。AAC封装成RTP包,在RTP载荷中的前四个字节是有特殊含义的,然后再是AAC数据,如下图所示

    在这里插入图片描述

    其中RTP载荷的一个字节为0x00,第二个字节为0x10

    第三个字节和第四个字节保存AAC Data的大小,最多只能保存13bit,第三个字节保存数据大小的高八位,第四个字节的高5位保存数据大小的低5位

    2.3 AAC RTP包的时间戳计算

    假设音频的采样率位44100,即每秒钟采样44100次

    AAC一般将1024次采样编码成一帧,所以一秒就有44100/1024=43帧

    RTP包发送的每一帧数据的时间增量为44100/43=1025

    每一帧数据的时间间隔为1000/43=23ms

    2.4 源码

    下面给出rtp发送aac文件的源码,该程序从aac文件中提取每一帧的AAC数据,然后RTP打包发送到目的

    如何获取AAC Data?
    这个示例是先读取7字节的ADTS头部,然后获得该帧大小,进而读取出AAC Data

    rtp_aac.c

    /*
     * 作者:_JT_
     * 博客:https://blog.csdn.net/weixin_42462202
     */
    
    #include <stdio.h>
    #include <stdlib.h>
    #include <sys/types.h>
    #include <sys/socket.h>
    #include <sys/stat.h>
    #include <fcntl.h>
    #include <unistd.h>
    #include <string.h>
    
    #include "rtp.h"
    
    #define AAC_FILE    "test.aac"
    #define CLIENT_PORT 9832
    
    struct AdtsHeader
    {
        unsigned int syncword;  //12 bit 同步字 '1111 1111 1111',说明一个ADTS帧的开始
        unsigned int id;        //1 bit MPEG 标示符, 0 for MPEG-4,1 for MPEG-2
        unsigned int layer;     //2 bit 总是'00'
        unsigned int protectionAbsent;  //1 bit 1表示没有crc,0表示有crc
        unsigned int profile;           //1 bit 表示使用哪个级别的AAC
        unsigned int samplingFreqIndex; //4 bit 表示使用的采样频率
        unsigned int privateBit;        //1 bit
        unsigned int channelCfg; //3 bit 表示声道数
        unsigned int originalCopy;         //1 bit 
        unsigned int home;                  //1 bit 
    
        /*下面的为改变的参数即每一帧都不同*/
        unsigned int copyrightIdentificationBit;   //1 bit
        unsigned int copyrightIdentificationStart; //1 bit
        unsigned int aacFrameLength;               //13 bit 一个ADTS帧的长度包括ADTS头和AAC原始流
        unsigned int adtsBufferFullness;           //11 bit 0x7FF 说明是码率可变的码流
    
        /* number_of_raw_data_blocks_in_frame
         * 表示ADTS帧中有number_of_raw_data_blocks_in_frame + 1个AAC原始帧
         * 所以说number_of_raw_data_blocks_in_frame == 0 
         * 表示说ADTS帧中有一个AAC数据块并不是说没有。(一个AAC原始帧包含一段时间内1024个采样及相关数据)
         */
        unsigned int numberOfRawDataBlockInFrame; //2 bit
    };
    
    static int parseAdtsHeader(uint8_t* in, struct AdtsHeader* res)
    {
        static int frame_number = 0;
        memset(res,0,sizeof(*res));
    
        if ((in[0] == 0xFF)&&((in[1] & 0xF0) == 0xF0))
        {
            res->id = ((unsigned int) in[1] & 0x08) >> 3;
            printf("adts:id  %d\n", res->id);
            res->layer = ((unsigned int) in[1] & 0x06) >> 1;
            printf( "adts:layer  %d\n", res->layer);
            res->protectionAbsent = (unsigned int) in[1] & 0x01;
            printf( "adts:protection_absent  %d\n", res->protectionAbsent);
            res->profile = ((unsigned int) in[2] & 0xc0) >> 6;
            printf( "adts:profile  %d\n", res->profile);
            res->samplingFreqIndex = ((unsigned int) in[2] & 0x3c) >> 2;
            printf( "adts:sf_index  %d\n", res->samplingFreqIndex);
            res->privateBit = ((unsigned int) in[2] & 0x02) >> 1;
            printf( "adts:pritvate_bit  %d\n", res->privateBit);
            res->channelCfg = ((((unsigned int) in[2] & 0x01) << 2) | (((unsigned int) in[3] & 0xc0) >> 6));
            printf( "adts:channel_configuration  %d\n", res->channelCfg);
            res->originalCopy = ((unsigned int) in[3] & 0x20) >> 5;
            printf( "adts:original  %d\n", res->originalCopy);
            res->home = ((unsigned int) in[3] & 0x10) >> 4;
            printf( "adts:home  %d\n", res->home);
            res->copyrightIdentificationBit = ((unsigned int) in[3] & 0x08) >> 3;
            printf( "adts:copyright_identification_bit  %d\n", res->copyrightIdentificationBit);
            res->copyrightIdentificationStart = (unsigned int) in[3] & 0x04 >> 2;
            printf( "adts:copyright_identification_start  %d\n", res->copyrightIdentificationStart);
            res->aacFrameLength = (((((unsigned int) in[3]) & 0x03) << 11) |
                                    (((unsigned int)in[4] & 0xFF) << 3) |
                                        ((unsigned int)in[5] & 0xE0) >> 5) ;
            printf( "adts:aac_frame_length  %d\n", res->aacFrameLength);
            res->adtsBufferFullness = (((unsigned int) in[5] & 0x1f) << 6 |
                                            ((unsigned int) in[6] & 0xfc) >> 2);
            printf( "adts:adts_buffer_fullness  %d\n", res->adtsBufferFullness);
            res->numberOfRawDataBlockInFrame = ((unsigned int) in[6] & 0x03);
            printf( "adts:no_raw_data_blocks_in_frame  %d\n", res->numberOfRawDataBlockInFrame);
    
            return 0;
        }
        else
        {
            printf("failed to parse adts header\n");
            return -1;
        }
    }
    
    static int createUdpSocket()
    {
        int fd;
        int on = 1;
    
        fd = socket(AF_INET, SOCK_DGRAM, 0);
        if(fd < 0)
            return -1;
    
        setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (const char*)&on, sizeof(on));
    
        return fd;
    }
    
    static int rtpSendAACFrame(int socket, char* ip, int16_t port,
                                struct RtpPacket* rtpPacket, uint8_t* frame, uint32_t frameSize)
    {
        int ret;
    
        rtpPacket->payload[0] = 0x00;
        rtpPacket->payload[1] = 0x10;
        rtpPacket->payload[2] = (frameSize & 0x1FE0) >> 5; //高8位
        rtpPacket->payload[3] = (frameSize & 0x1F) << 3; //低5位
    
        memcpy(rtpPacket->payload+4, frame, frameSize);
    
        ret = rtpSendPacket(socket, ip, port, rtpPacket, frameSize+4);
        if(ret < 0)
        {
            printf("failed to send rtp packet\n");
            return -1;
        }
    
        rtpPacket->rtpHeader.seq++;
    
        /*
         * 如果采样频率是44100
         * 一般AAC每个1024个采样为一帧
         * 所以一秒就有 44100 / 1024 = 43帧
         * 时间增量就是 44100 / 43 = 1025
         * 一帧的时间为 1 / 43 = 23ms
         */
        rtpPacket->rtpHeader.timestamp += 1025;
    
        return 0;
    }
    
    int main(int argc, char* argv[])
    {
        int fd;
        int ret;
        int socket;
        uint8_t* frame;
        struct AdtsHeader adtsHeader;
        struct RtpPacket* rtpPacket;
    
        if(argc != 2)
        {
            printf("Usage: %s <dest ip>\n", argv[0]);
            return -1;
        }
    
        fd = open(AAC_FILE, O_RDONLY);
        if(fd < 0)
        {
            printf("failed to open %s\n", AAC_FILE);
            return -1;
        }    
    
        socket = createUdpSocket();
        if(socket < 0)
        {
            printf("failed to create udp socket\n");
            return -1;
        }
    
        frame = (uint8_t*)malloc(5000);
        rtpPacket = malloc(5000);
    
        rtpHeaderInit(rtpPacket, 0, 0, 0, RTP_VESION, RTP_PAYLOAD_TYPE_AAC, 1, 0, 0, 0x32411);
    
        while(1)
        {
            printf("--------------------------------\n");
    
            ret = read(fd, frame, 7);
            if(ret <= 0)
            {
                lseek(fd, 0, SEEK_SET);
                continue;            
            }
    
            if(parseAdtsHeader(frame, &adtsHeader) < 0)
            {
                printf("parse err\n");
                break;
            }
    
            ret = read(fd, frame, adtsHeader.aacFrameLength-7);
            if(ret < 0)
            {
                printf("read err\n");
                break;
            }
    
            rtpSendAACFrame(socket, argv[1], CLIENT_PORT,
                            rtpPacket, frame, adtsHeader.aacFrameLength-7);
    
            usleep(23000);
        }
    
        close(fd);
        close(socket);
    
        free(frame);
        free(rtpPacket);
    
        return 0;
    }
    

    三、AAC的sdp媒体描述

    下面给出AAC的媒体描述信息

    m=audio 9832 RTP/AVP 97
    a=rtpmap:97 mpeg4-generic/44100/2
    a=fmtp:97 SizeLength=13;
    c=IN IP4 127.0.0.1
    

    这个一个媒体级的sdp描述,关于sdp文件描述详情可看从零开始写一个RTSP服务器(一)不一样的RTSP协议讲解

    • **m=audio 9832 RTP/AVP 97 **

      格式为 m=<媒体类型> <端口号> <传输协议> <媒体格式 >
      媒体类型:audio,表示这是一个音频流

      端口号:9832,表示UDP发送的目的端口为9832

      传输协议:RTP/AVP,表示RTP OVER UDP,通过UDP发送RTP包

      媒体格式:表示负载类型(payload type),一般使用97表示AAC

    • a=rtpmap:97 mpeg4-generic/44100/2

      格式为a=rtpmap:<媒体格式><编码格式>/<时钟频率> /[channel]

      mpeg4-generic表示编码,44100表示时钟频率,2表示双通道

    • c=IN IP4 127.0.0.1

      IN:表示internet

      IP4:表示IPV4

      127.0.0.1:表示UDP发送的目的地址为127.0.0.1

    特别注意:这段sdp文件描述的udp发送的目的IP为127.0.0.1,目的端口为9832

    四、测试

    将上面给出的源码rtp.crtp.hrtp_h264.c保存下来,sdp文件保存为rtp_aac.sdp

    注意:该程序默认打开的是test.aac,如果你没有音频源,可以从RtspServer的example目录下获取

    编译运行

    # gcc rtp.c rtp_aac.c
    # ./a.out 127.0.0.1
    

    这里的ip地址必须跟sdp里描述的目标地址一致

    使用vlc打开sdp文件

    # vlc rtp_aac.sdp
    

    到这里就可以听到音频了,下一篇文章讲解如何写一个发送AAC的RTSP服务器

    展开全文
  • 九个原则: 1. 每个方法只使用一层缩进.2. 不要使用关键字“else”3. 封装所有的原始类型和字符串4. 每行最多使用一个“.”操作符5. 命名时不要使用缩写6.... 遵循这九个原则,练习写一千行代码,
  • 分享个C++11的线程池

    万次阅读 2016-04-26 22:29:06
    今天就介绍个使用C++11的简单的个线程池,thread pool.github地址: https://github.com/progschj/ThreadPool首先看看线程池怎么的:#ifndef THREAD_POOL_H #define THREAD_POOL_H#inc
  • 个程序员如何快速赚到一百万?

    万次阅读 多人点赞 2014-05-12 08:51:08
    个程序员如何快速赚到一百万,说的详细点儿就是: 个固定工作者怎么跳出固有的模式,靠其他途径(投资、理财、生意、创意、外包等)赚得相对殷实的钞票? 80% 人都会问这种赚钱问题,但这种问题却太难回答,...
  • () js + Vue 扫雷

    万次阅读 2020-02-24 21:24:13
    目录RESTFul、RESTFul是什么二、概念三、资源与URI3.1 RESTFul常用的url请求3.2 RESTFul的url地址怎么四、后台的接口代码五、调用RESTFul的软件 RESTFul 、RESTFul是什么 RESTFul是 Representational State ...
  • 作者:小傅哥 ... 沉淀、分享、成长,让自己和他人都能有所收获!???? 、前言 20万行代码完,毕业了找份工作...大学四年其实有足够的时间让你学会编程,也能从一个较长时间的学习中,知道自己适合不适合做程序员。
  • 坚持技术博客一年能有多少收获!

    万次阅读 多人点赞 2020-10-10 08:31:57
    作者:小傅哥 ... 沉淀、分享、成长,让自己和他人都能有所收获!???? 让人怪不好意思的,小傅哥的粉丝破万了!...做公众号的号主都知道粉丝过万是一道不小的门槛,尤其是技术类...这些文章内容构成了个小的生态圈,通过内
  • 在这个目的的驱动下,本人上周业余时间花了周多的时间用C语言个游戏引擎BWF(Buffered Window Framework)。这个引擎利用了窗口相关的WinAPI和Cairo(http://cairographics.org/documentation/)开源图形库...
  • 事情是这样的,前几天我在刷B站的时候看到个大佬用训练了个自动高考作文的AI 链接: https://www.bilibili.com/video/BV1pr4y1w7uM?from=search&seid=3451527309155759796 那我就想既然别人能训练自动...
  • 你想想,如果在上台服务器的集群中,每台服务器中只需要简单的执行个相同的命令,那别说执行命令了,就是让你依次手动登录上台服务器,那也够你受的了。估计依次登录上台服务器,给你三天时间你可能都登不完...
  • 本着互联网开源分享的精神,我说说我这一年都干了什么,如何一个屌丝赚第一个一千万的。当然现在一千万也算不了什么。在北京有两套房的就不止这个数。但我是利用互联网,用了一年时间达到的。我自己都觉得自己很...
  • After 500:500篇博客其实和写一篇是一样的

    千次阅读 多人点赞 2016-03-04 09:07:22
    这样篇文章,我表示是我蛋疼了,你们想喷想拍砖的,不要犹豫了,放马过来吧!其实这篇文章呢,主要是看到下面这篇来的灵感:After 500: 了第500篇博客,然后呢?你们不会也去拍他吧!数学理论依据这个目前没...
  • 可读性和可维护性上讲,代码越精练越好个函数中多少行代码比较合适,其实没有强制规定,合理即可,不可一概而论(有人说个函数不要超过15行,有人说个函数不要超过50行,有人说个函数不要超过200行,我觉得...
  • 用python写一个简单的爬虫功能

    万次阅读 2016-02-20 14:50:47
    iOS开发如果之前没接触过除了c和c++(c++太难了,不花个...你去看看python超过两行的代码再回头看看用oc的超过两行的代码,oc的简直丑极致(没命名空间,点语法调用和括号调用混用).你如果想自己弄个app,例如每日
  • 其实我当初决定开始博客的想法挺简单的,觉得自己搞技术这么多年...更令我没想到的事,在我开始博客不久之后,人民邮电出版社图灵公司的副总编辑陈冰老师就联系上了我,希望我可以写一本关于Android开发技术的书籍
  • Unity游戏制作,本篇文章介绍了复刻皇室战争玩法的个自制小游戏,共有该游戏的两万字教程加制作过程,欢迎品尝! 世界上没有绝对的公平,如果我们起点就比别人第步,那就更需要比别人努力了。
  • 我是如何从写不出来,完成二十万字书稿的?

    千次阅读 多人点赞 2018-11-20 08:02:17
    去年过年的时候,父母乡下来到我...父亲在家里最有话语权,只是冷冷地说了句话:“你还能书?” 盆冷水劈头盖脸地浇在我的身上;那一刻,我的玻璃心几乎要咔擦声的摔在地上。瞅着父亲满头灰白的头发,我...
  • 程序员如何才能篇好的技术文章

    千次阅读 多人点赞 2016-03-01 00:00:42
    文章来源于 @justjavac在...我大二的时候,大概六年前开始技术博客,现在已经有540+了,大概每年会写一百篇左右。这个答案由四部分组成: 博客的流量来源 不同文章类型的写作要点 如何博客 如何收集写作的灵感
  • 2018 年 7 月开始公众号现在,差不多有一年半了。在这一年半里,有过被人赞赏、被人肯定的喜悦;有过被人喷、被人怼上某网站首页的心酸;有过被微信好友拉黑、被几百上好友问各种问题的苦恼…… 对于这些...
  • 代码之外,如何再赚份工资?

    千次阅读 2019-08-26 11:00:00
    我很少推荐公众号。在我看来,筛选公众号是项很重要的能力。近两万个公众号里面,不1%的号才是原创。真正拥有原创能力的作者,依然是小撮。我每次的关注,不仅是对原创作...
  • 从前有个程序员,成天代码,后来。。。

    万次阅读 多人点赞 2016-07-14 20:50:36
    每天你都有机会和很多人擦身而过,而你或者对他们一无所知,不过也许有...从前有个程序员,成天代码,后来,他屎了1.一门可以靠手艺混饭的专业 你好,非常荣幸能够步入改变世界的软件开发行业,接下来我们聊点正经
  • 我也一样,曾几何时,我也是2500个月都找不工作的青涩少年,也是帮别人发传单、做门童,满地找兼职的学生仔。 这篇文章很长,近7000字。我选取了我人生中的几个重要经历和抉择,这些事件,持续影响了我的一生,...
  • 010W粉,这一年我在csdn的成长之路

    万次阅读 多人点赞 2020-11-26 10:08:36
    其实周年的文章在我生病的时候有点多愁善感,不过万感慨不吐不快,我也一直留着汗在,如果说错什么,还望海涵。 感谢这一年里每份关注,愿你我不负相遇,都有收获。就像我们第次在这里见面那样,我说...
  • (序言,之,之二,之三,之四,之五) 第个月:个产品的诞生 没有国王,没有宰相,没有能讲故事的王后,也没有需求文档,开发就这样开始了:为何不先需求文档?因为敏捷开发不文档!不是的。策划这个...
  • 写一本技术书能赚多少钱

    万次阅读 多人点赞 2015-12-02 13:27:16
    我出了两本技术书,有朋友问我赚了多少钱,来,算便知……
  • 正在学C语言,教材是谭浩强教授的《c程序设计》第五版,本题是上次课后作业(p216 7-16题),开始感觉无从下手,认真思考和复习各进制的转换知识后终于做出了这道题,和网上的一些答案还是有差别&amp;差距的,...
  • 在冬日的第天--个女程序员第六年工作总结

    万次阅读 热门讨论 2010-11-07 02:54:00
    一年总结的时候后。工作这些年,年年雷打不动篇总结让初初参加工作的这天刻在我的脑海中。现在我已经记不得恋爱纪念日了,却依然知道在冬天到来的第天敲下过去一年工作的点点滴滴。  ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 292,825
精华内容 117,130
关键字:

从一到一千怎么写