快速导出多个 csv 文件并下载

本贴最后更新于 1678 天前,其中的信息可能已经时移俗易
  • 将数据分文件存储,每个 csv 文件一定量条数据,再将所有 csv 文件 zip 压缩
  • 再将 zip 文件直接通过网络传输到浏览器,全程不经过磁盘
  • (可将 demo 中生成数据的部分改为数据库查询)
package main

import (
	"archive/zip"
	"bytes"
	"encoding/csv"
	"fmt"
	"net/http"
	"strconv"
	"time"
)

func main() {
	http.HandleFunc("/", func(writer http.ResponseWriter, request *http.Request) {
		fmt.Println(time.Now().Format("15:04:05"))
		zipBuffer := bytes.NewBuffer(nil)
		zipWriter := zip.NewWriter(zipBuffer)
		for i := 0; i < 10; i++ {
			fmt.Printf("zip: %v.csv\n", i+1)
			csvBuffer := Csv()
			// 将数据存入csv文件,并压缩
			csvFile, err := zipWriter.Create(strconv.Itoa(i+1) + ".csv")
			if err != nil {
				panic(err)
			}

			_, err = csvFile.Write(csvBuffer.Bytes())
			if err != nil {
				panic(err)
			}
		}
		if err := zipWriter.Close(); err != nil {
			panic(err)
		}

		writer.Header().Add("Content-Type", "application/form-data")
		// 设置文件名
		writer.Header().Add("Content-Disposition", fmt.Sprintf(`attachment; filename="%v.zip"`, time.Now().Unix()))
		_, err := zipBuffer.WriteTo(writer)
		if err != nil {
			panic(err)
		}
	})

	if err := http.ListenAndServe(":8080", nil); err != nil {
		panic(err)
	}
}

func Csv() *bytes.Buffer {
	csvBuffer := bytes.NewBuffer(nil)
	csvWriter := csv.NewWriter(csvBuffer)
	if err := csvWriter.WriteAll(getData()); err != nil {
		panic(err)
	}

	return csvBuffer
}

type SQLValue struct {
	ID       uint
	CreateAt time.Time
	UpdateAt time.Time
	DeleteAt *time.Time

	Username string
	Sex      int // 1.男 , 2.女 , 3.未知
	Age      int // year
	Height   int // cm
}

// 模拟数据库操作
func getData() [][]string {
	// 此处可为数据库操作
	sqlValue := make([]*SQLValue, 1000000)
	for i := range sqlValue {
		sqlValue[i] = &SQLValue{
			ID:       uint(i),
			CreateAt: time.Now(),
			UpdateAt: time.Now(),
			DeleteAt: nil,
			Username: strconv.Itoa(i),
			Sex:      3,
			Age:      20,
			Height:   170,
		}
	}

	data := make([][]string, len(sqlValue))
	data[0] = []string{
		"ID", "CreateAt", "UpdateAt", "DeleteAt", "Username", "Sex", "Age", "Height",
	}

	for i, v := range sqlValue {
		if i == 0 {
			continue
		}
		id := strconv.Itoa(int(v.ID))
		createAt := v.CreateAt.Format("2006-01-02 15:04:05")
		updateAt := v.UpdateAt.Format("2006-01-02 15:04:05")
		deleteAt := ""
		if v.DeleteAt != nil {
			deleteAt = v.DeleteAt.Format("2006-01-02 15:04:05")
		}
		sex := ""
		switch v.Sex {
		case 1:
			sex = "男"
		case 2:
			sex = "女"
		case 3:
			sex = "未知"
		default:
		}
		age := strconv.Itoa(v.Age)
		height := strconv.Itoa(v.Height)
		data[i] = []string{
			id,
			createAt,
			updateAt,
			deleteAt,
			v.Username,
			sex,
			age,
			height,
		}
	}
	return data
}
  • golang

    Go 语言是 Google 推出的一种全新的编程语言,可以在不损失应用程序性能的情况下降低代码的复杂性。谷歌首席软件工程师罗布派克(Rob Pike)说:我们之所以开发 Go,是因为过去 10 多年间软件开发的难度令人沮丧。Go 是谷歌 2009 发布的第二款编程语言。

    492 引用 • 1383 回帖 • 375 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • 七牛云

    七牛云是国内领先的企业级公有云服务商,致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景,七牛先后推出了对象存储,融合 CDN 加速,数据通用处理,内容反垃圾服务,以及直播云服务等。

    25 引用 • 215 回帖 • 165 关注
  • Latke

    Latke 是一款以 JSON 为主的 Java Web 框架。

    70 引用 • 532 回帖 • 712 关注
  • 微软

    微软是一家美国跨国科技公司,也是世界 PC 软件开发的先导,由比尔·盖茨与保罗·艾伦创办于 1975 年,公司总部设立在华盛顿州的雷德蒙德(Redmond,邻近西雅图)。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖
  • App

    App(应用程序,Application 的缩写)一般指手机软件。

    90 引用 • 383 回帖 • 1 关注
  • NetBeans

    NetBeans 是一个始于 1997 年的 Xelfi 计划,本身是捷克布拉格查理大学的数学及物理学院的学生计划。此计划延伸而成立了一家公司进而发展这个商用版本的 NetBeans IDE,直到 1999 年 Sun 买下此公司。Sun 于次年(2000 年)六月将 NetBeans IDE 开源,直到现在 NetBeans 的社群依然持续增长。

    78 引用 • 102 回帖 • 643 关注
  • Docker

    Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的操作系统上。容器完全使用沙箱机制,几乎没有性能开销,可以很容易地在机器和数据中心中运行。

    476 引用 • 899 回帖 • 1 关注
  • Logseq

    Logseq 是一个隐私优先、开源的知识库工具。

    Logseq is a joyful, open-source outliner that works on top of local plain-text Markdown and Org-mode files. Use it to write, organize and share your thoughts, keep your to-do list, and build your own digital garden.

    4 引用 • 55 回帖 • 8 关注
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 43 关注
  • QQ

    1999 年 2 月腾讯正式推出“腾讯 QQ”,在线用户由 1999 年的 2 人(马化腾和张志东)到现在已经发展到上亿用户了,在线人数超过一亿,是目前使用最广泛的聊天软件之一。

    45 引用 • 557 回帖 • 222 关注
  • Facebook

    Facebook 是一个联系朋友的社交工具。大家可以通过它和朋友、同事、同学以及周围的人保持互动交流,分享无限上传的图片,发布链接和视频,更可以增进对朋友的了解。

    4 引用 • 15 回帖 • 455 关注
  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言,应用广泛。C++ 支持多种编程范式,面向对象编程、泛型编程和过程化编程。

    106 引用 • 152 回帖
  • webpack

    webpack 是一个用于前端开发的模块加载器和打包工具,它能把各种资源,例如 JS、CSS(less/sass)、图片等都作为模块来使用和处理。

    41 引用 • 130 回帖 • 294 关注
  • 阿里云

    阿里云是阿里巴巴集团旗下公司,是全球领先的云计算及人工智能科技公司。提供云服务器、云数据库、云安全等云计算服务,以及大数据、人工智能服务、精准定制基于场景的行业解决方案。

    89 引用 • 345 回帖
  • 生活

    生活是指人类生存过程中的各项活动的总和,范畴较广,一般指为幸福的意义而存在。生活实际上是对人生的一种诠释。生活包括人类在社会中与自己息息相关的日常活动和心理影射。

    228 引用 • 1450 回帖 • 1 关注
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    6550 引用 • 29422 回帖 • 245 关注
  • wolai

    我来 wolai:不仅仅是未来的云端笔记!

    1 引用 • 11 回帖 • 2 关注
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 93 关注
  • Markdown

    Markdown 是一种轻量级标记语言,用户可使用纯文本编辑器来排版文档,最终通过 Markdown 引擎将文档转换为所需格式(比如 HTML、PDF 等)。

    163 引用 • 1450 回帖
  • WebSocket

    WebSocket 是 HTML5 中定义的一种新协议,它实现了浏览器与服务器之间的全双工通信(full-duplex)。

    48 引用 • 206 回帖 • 399 关注
  • gRpc
    10 引用 • 8 回帖 • 54 关注
  • Hibernate

    Hibernate 是一个开放源代码的对象关系映射框架,它对 JDBC 进行了非常轻量级的对象封装,使得 Java 程序员可以随心所欲的使用对象编程思维来操纵数据库。

    39 引用 • 103 回帖 • 685 关注
  • jQuery

    jQuery 是一套跨浏览器的 JavaScript 库,强化 HTML 与 JavaScript 之间的操作。由 John Resig 在 2006 年 1 月的 BarCamp NYC 上释出第一个版本。全球约有 28% 的网站使用 jQuery,是非常受欢迎的 JavaScript 库。

    63 引用 • 134 回帖 • 740 关注
  • 导航

    各种网址链接、内容导航。

    37 引用 • 168 回帖
  • Vditor

    Vditor 是一款浏览器端的 Markdown 编辑器,支持所见即所得、即时渲染(类似 Typora)和分屏预览模式。它使用 TypeScript 实现,支持原生 JavaScript、Vue、React 和 Angular。

    313 引用 • 1666 回帖 • 1 关注
  • 深度学习

    深度学习(Deep Learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    40 引用 • 40 回帖
  • ZooKeeper

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

    59 引用 • 29 回帖 • 18 关注
  • Sillot

    Sillot (汐洛)孵化自思源笔记,致力于服务智慧新彖乄,具有彖乄驱动、极致优雅、开发者友好的特点
    Github 地址:https://github.com/Hi-Windom/Sillot

    15 引用 • 6 回帖 • 28 关注