更新时间:2023-02-17 来源:黑马程序员 浏览量:
在数据大小比内存空间还要大的时候，怎么去读取数据呢?今天笔者就来分享一下解决这个问题的使用方法。常见的有两种思路：
思路一：可以分多次来读取，也就是说通过生成器的方式，单次读取数量比较少的数据(例如按500MB计算)进行处理，这次处理完后再去读取后面的500MB数据。
思路二：Linux常用命令之一的split可以将文件进行切割，然后再进行数据处理，这个方法的效率相对来说会更高。既可以按照文件大小进行切割，也可以按照文件行数来切割。处理完毕后，在Linux下使用cat命令来对文件进行合并。
AI鸿蒙原生智能正式版课程，培养全端跨平台鸿蒙工程师
2026-03-10AI鸿蒙原生智能正式版课程，培养全端跨平台鸿蒙工程师
2026-03-10毕业16个工作日，平均薪资13180元，就业率100%，广州黑马AI智能应用开发（Java）学科20250529班
2026-03-06毕业32个工作日，平均薪资11147元，就业率95%，广州黑马AI智能应用开发（Java）学科20250326班
2026-03-05黑马程序员2025全国就业数据发布：全学科平均就业率92.07%，AI开发类就业平均薪资达11869.67元。
2026-03-05黑马全国校区齐开班！场面太太太壮观了！
2026-03-03
AI智能应用开发
AI大模型开发
AI鸿蒙开发
AI嵌入式+
AI大数据开发
AI运维
AI测试
跨境电商运营
AI设计
AI视频创作运营
.jpg)