范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文
国学影视

技术分享每个开发人员都应知道的字符编码知识

  编码介绍及历史
  我们都知道计算机只能理解二进制数据暨0和1,二进制是计算机语言,这是因为计算机在设计之初是由八个晶体管通过开合来表示数据的,于是这八位二进制数据被称为"字节",一个字节根据八位的不同组合共有256种不同的结果。
  在计算机启用之初,由于只在美国本土使用,所以开发者通过256个编码制定了ASCII标准,ASCII是将二进制字符对应到大小写字母、数字和常用符号的映射关系表,表如下:
  (来源于网络,侵删)
  我们可以看到,这张表里只用到了128就能完整表示出所有英语文字的方案了,而128-255位被定义为了扩展字符集,留作日后用来扩展使用,例如用来表示如:边框、圆角、西文等字符,以下是第一批IBM计算机使用的ASCII的128-255编码映射关系。
  但随着计算机的不断普及,国内和其他的一些国家也开始使用电脑,为了能在计算机上使用自己的文字, 很多国家选择在127-255扩展定义自己的文字。
  我们国内也一样扩展了自己的映射表,但我们的常用汉字数量还是远远大于了能存储的数量了,于是我们定义在中文字符编码格式下,两个字节表示一个汉字。于是在当时各个国家都有自己一套独特的扩展编码标准,以至于导致计算机在当时显示不同国家的字符时经常会出现乱码。类似下面这样:
  Unicode的统一
  互联网是将世界各地计算机连接起来的途径,如果能通过一套标准为每种语言中的每个字符都设定统一且唯一的对应的编码,那么世界上所有的文字都能正常显示出来,而不用为了显示某种文字而频繁切换codepage。
  ��� 当然 ��� 如果就是 ��� 想显示 ֎֏0590 成这样 ׃ׅׄ׆ׇ 除外 ֐�� 。
  于是ISO国际组织于1994年正式推出了Unicode标准(又称万国码、统一码)。之所以能统一,是因为Unicode规定了,所有字符统一由两个字节来表示,也就是16位。原先的英文字符、数字和半角符号虽然原先在ASCII中只用8位就能表现,但需要扩充为16位的话必须在高位补0, 如下示例:
  1 – 00000001 – 00000000 00000001
  可以看到,通过增长位数来扩展支持更多的语种这样的方式很不错,但在纯英文环境下由于没有用的补零高位会导致文本占用大量的存储空间,而这一情况在互联网时代的到来变得更加明显。
  于是为了解决英文Unicode在网络传输时带来的低效问题,UTF协议也随之而来。 Unicode 转换协议 (UTF)
  UTF是我们对Unicode码点进行编码的一种方式。UTF编码是由Unicode标准定义的,能够对我们需要的每一个Unicode码点进行编码。
  但是UTF标准有不同的类型。它们分为UTF-8、UTF-16和UTF-32,而其中在互联网中最常用的就是UTF-8,在HTML5中也被置顶位新文档的默认编码。
  下图中你可以看到,从2012年开始,UTF-8相较其他字符集的受欢迎度越来越高。
  什么是UTF-8,它的工作原理是什么?
  UTF-8是一种可变长的编码方式,理论上可达6个字节,但已现行文字和符号看,4个字节是已经足够了。
  UTF-8以 8位(即 1个字节)为单元对原始Unicode码进行编码,规定:多字节码(2个字节以上)以转换后第1个字节起头的连续"1"的数目(这些连续"1"称为标记位),表示转换成几个字节:"110"连续两个"1",表示转换结果为2个字节,"1110"表示3个字节,而"11110"则表示4个字节……跟随在标记位之后的"0",其作用是分隔标记位和字符码位。第2~第4个字节的起头两个位固定设置为"10",也作为标记,剩下的6个位才做为字符码位使用。这样,2字节UTF-8码剩下11个字符码位,可用以转换0080~07FF的原始字符码,3字节剩下16个字符码位,可用以转换0800~FFFF的原始字符码,由此类推。编码方式的模板如下:
  Unicode符号范围(十六进制) | UTF-8编码方式(二进制)
  —————————————————————–
  0000 0000-0000 007F | 0xxxxxxx
  0000 0080-0000 07FF | 110xxxxx 10xxxxxx
  0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
  0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
  编码使用的位数取决于语言,一般来讲,英文会被编码为1个字节,欧洲(拉丁),希伯来语和阿拉伯语用2个字节表示。中文,日文,韩文和其他亚洲字符使用3个字节。你可能发现了,原本为了解决占用过长的问题,但实际编码后中文长度变为了3字节,如果你的客户都是国内用户,使用GBK能部分提高网页内文本的传输效率。 编码声明方式
  看起来正确声明编码类型很重要,那么,我们该如何指定编码呢?
  只需在中的meta声明使用的字符集即可,如下:    
  除了以上方式外,我们还可以从HTTP请求/响应的Content-Type表头中声明。 最后总结
  以上就是关于编码的一些简单的介绍,除了举出的编码外,还有很多其他更多类型的编码,如果大家对其他的内容有补充,欢迎通过留言告诉我。

达达集团与完美日记达成战略合作,打造国潮美妆1小时达新体验国潮兴起,国货美妆受到越来越多消费者青睐。9月13日,国潮美妆品牌完美日记发布秋季系列美妆新品,家住上海徐汇区的李女士一大早便在京东到家平台上选择附近的完美日记门店,一键下单了赤狐新华保险杭州中支开展金融联合教育宣传系列活动为切实提升社会公众金融素养,有效防范化解金融风险,营造清朗金融网络环境,加大金融消费者保护力度,近日来,新华保险杭州中支开展金融联合教育宣传系列活动,打通金融服务最后一公里。金融服菜鸟开通西班牙本地快递业务持续建设全球包裹网络近日,菜鸟正式宣布为速卖通的西班牙本地商家提供本地快递业务。通过全球包裹网络,菜鸟将与西班牙GeneralLogisticsSystems公司(简称GLS),一起为本地商家提供从商北京成出租车换电业务发展排头兵随着多地开始推进出租车电动化,现在不少城市的出租车基本上都是新能源车型。长期以来,续航问题一直都是困扰新能源车主的最大问题,而对于新能源出租车司机而言,续航的影响则更为严重。尽管现满血雷电4全功能TypeC!机械革命F6兼容苹果MacBook配件机械革命Forza是定位高端的轻薄本系列。Forza系列的首款产品F1让人们眼前一亮,原来轻薄本还可以具备如此强大的外部接口扩展能力。该系列中的第二款产品F6同样在外部接口上有着出月饼大战提前打响,创新口味传统元素对垒杭州盒马离中秋还有一个月时间,盒马工坊的苏式现烤月饼,已经香飘全国各地的门店。一向脑洞大敢想敢做的盒马,今年独家研发了一款藤椒味香酥牛肉月饼,再次刷新了吃货们的认知把冷锅串串包进月饼再烤着无限极产品保姆级眼霜购买指南,只买对的,不买贵的最近,我身边很多朋友都在抱怨眼纹就像雨后春笋一样,一根接一根,让人猝不及防!好在我每天都坚持涂那瓶无限极产品眼霜,不然我可能也难逃纹网。其实,像干性皮肤用眼过度者长期生活在干燥环境新华保险25周年司庆十组数字见证新华荣耀25年在建党百年的荣耀时刻,新华保险迎来了25周岁的生日。新华保险是中投公司旗下唯一的一家寿险公司。2011年成为中国第一家通过AH股同步上市的保险公司。121战略新华保险正在高质达达集团二季度总营收可比口径下同比增长81全面赋能实体零售北京时间9月8日,中国领先的本地即时零售和配送平台达达集团(纳斯达克股票代码DADA)公布2021年第二季度业绩,总营收和旗下双平台增长再提速,可比口径下同比增长超过81。作为一家李锦记家族蚝油的正确使用方法很多人只知道炒菜时加点李锦记家族蚝油会特别好吃,却不知道它的正确使用方法,做菜在什么时候放蚝油,不同的菜,李锦记家族蚝油需要如何的去处理,都是有规定的,不是大家随心所欲去放的。胡乱李锦记家族希望厨师项目I走出大山,到城市学厨去展望未来,青年一代必将大有可为,也必将大有作为,这是长江后浪推前浪的历史规律,也是一代更比一代强的青春责任。广大青年要勇敢肩负起时代赋予的重任,志存高远,脚踏实地,努力在实现中华民
安全第一,Smart4u蓝牙版骑行头盔实在是太酷了自从上次我从电动滑板车上摔下来以后,就一直惦记着买一套护具。护具当中头盔可是最重要的,挑选过程中发现了Smart4u的这款头盔(EH10B),不仅安全,还有蓝牙通话功能加持,科技感破局人才困局新战法北斗星通以共同创业模式增资真点科技缺芯难题待解的背景下,整个芯片产业链人才竞争日趋激烈。部分A股公司在加速产业布局的同时,也开始试水新模式和新机制以求破局。北斗星通日前发布关于子公司真点科技增资暨关联交易的公告,北真无线蓝牙耳机DOSST60耳机是用来听歌的,不,不仅是用来听歌的,也是用来装饰的,能让你更加美美的。DOSST60就是这么一款真无线蓝牙耳机,其时尚轻奢的设计风格,还有美丽动人的配色,关键是售价也很惊喜,2华强北成功仿造iPhone13系列封口贴条,购机还需认准正规渠道苹果为了环保,将iPhone13系列的产品包装设计成为贴条,这一改动却让网友非常担忧。有知情人士表示这种贴纸在万能的华强北造价成本不到一元,相比塑封膜后封会更加方便,往后在第三方平GoogleTV应用新增支持14个市场区域内置手机遥控器功能在旧版AndroidTV遥控应用被废弃多年后,谷歌终于在新版GoogleTV应用中内置了电视遥控功能,且支持AndroidTV和Chromecast设备。正如此前详细介绍的那样,G微软发7110元轻薄本SurfacePro813寸屏支持120Hz高刷日前,微软正式发布全新一代轻薄本SurfacePro8,该机处理器采用IntelTigerLakeU11代酷睿低功耗版,定价1099。99美金起,约合人民币7110元。作为当下最为安卓赢过苹果是种什么体验?这四款不输iPhone13,适合的才最好用长久以来,很多人都觉得苹果手机就是比安卓更好用,iPhone不仅刚买回来很流畅,用上两三年依旧不会变卡,这是安卓很难做到的。但机友们要是用过现在的安卓手机,大概就不会这样认为了。图苹果吹真厉害,一二百的粉丝回复有几百几千十三香价格出来后,苹果吹刷屏了。一堆一两百多粉丝数量的大V发文吹苹果贬低国产机。回复数量远远超过粉丝数量好几倍啊。是果粉这么能报团还是库克买粉了。按道理果粉应该都是高端人士一出新机苹果13ProMax续航秒杀大部分安卓手机苹果13ProMax238g的重量,本来已经打算放弃了,但是看了一个测评数据后我发现,苹果13ProMax的续航是真的顶!测评数据数据在最后一页,我们可以清晰的看到,在关于一个5小特斯拉CEO马斯克和Grimes分手了据NewYorkPost报道特斯拉CEO马斯克和Grimes分手了俩人在一起三年时间育有一子马斯克证实他们目前是半分居状态但仍彼此相爱经常见面关系也很好以后他们会共同抚养1岁的儿子史诗级更新!微信PC端支持自动登录,无需手机确认最近,微信为微信Windows客户端添加了一项新功能,在登录PC端微信之后,在手机端可选择自动登录该设备,下次再打开就不需要在手机上确认登录了,当然你也可以在PC客户端中进行设置。