标签：总结 10 01 02 数值 开头 清洗 文本 特殊符号
目录面对大量数据，需要考虑 效率、时间、空间；
去重
sort 排序后，根据是否与上一条相同来去重；
sort 占用内存多；最好是 5G以下的文件，我认为2G--3G最好。
- 长度比例
- 字符比例
针对中文
数值和特殊符号开头
句子开头的数值和特殊符号的，通常没有意义。
- 统一去掉没有意义的符号，如：
★☆◆◇▲△▼▽▶◆●○〇□■☉⊙◎︻︼︽︾〒↑↓¤▓◣◥◢◤↑↓→←↘↙⌒∮※ㄨ╬▋▂▃▄▅▆▇█
- 一句话中，非中文内容长度多过 1/3 或一半，可以剔除。
- 以中文开头的内容，取出来，放在单独文件存储；
下次清洗时，不必处理这部分数据
- 去掉在开头没有意义的符号，如：
@10号投稿
/故事
- 好的
：10年前上大学时经
>>8.做好家庭阳台、平台等区域的安全防护。
》
？
“
﹒
,
。
/
～
- 对数值后面紧跟单位的句子，进行保留，不处理，如：
人个双千万亿元号克厘座级次件余多块名位根头张摩公斤米床支例省市城区县只份处瓶岁
- 去掉标号型数值，如
0》提出的核心观点，未来银行将“不再是客户要去的地方，而是一种随时可得的服务”，
0》数码艺术香港展。
01、500家只是冰山一角
01.儿童版块
01、招生对象
02、阿里云世界第一脚步被推迟
01 招聘岗位及数量
01 了解自己的身体状况
01为什么“一菜难求”？
02 10元人民币背景图 夔门
02 脱贫任务重
02惊喜多 奖金更高
10、2018年8月30日,高云翔案再开庭证人并未出席,现场未提交实质性证据。
（10）美好的约定
[10]流动人口是指人户分离人口中扣除市辖区内人户分离的人口。
[10]褚杨,林伟,FAUREMichel,等.
A 113项高频政务服务事项轻松办！
a) 这是一个
(二)关于葡萄园地面积。
二、关于视频监控损坏的问题
标签：总结,10,01,02,数值,开头,清洗,文本,特殊符号 来源： https://www.cnblogs.com/fldev/p/15208686.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。