本文共 1902 字，大约阅读时间需要 6 分钟。
最近有一个作业需要对大规模数据进行性能测试。我需要处理500万条数据，这是一个很大的量，直接通过CSV文件导入数据库显然不可行。
直接使用循环_insert会显著影响性能，效率会非常慢。想到用存储过程来实现batch插入，希望能够提升效率。
以下是存储过程的实现代码：
CREATE OR REPLACE FUNCTION insert_users_test()RETURNS void AS$BODY$DECLARE randomsid text; randomna_id text; p_source text := 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'; p_sourceN text := '0123456789'; p_length int := 9; w_result text := ''; w_index int := 0; curtime timestamp; enttime timestamp;BEGIN FOR i IN 1..5000000 LOOP BEGIN -- 生成用户ID（数字组合） w_result := ''; w_index := 0; p_length := 9; FOR i IN 1..p_length LOOP w_index := floor(random() * length(p_sourceN))::integer + 1; w_result := w_result || substring(p_sourceN, w_index, 1); END LOOP; randomsid := w_result; -- 生成用户名（字母数字组合） p_length := 8; w_result := ''; w_index := 0; FOR i IN 1..p_length LOOP w_index := floor(random() * length(p_source))::integer + 1; w_result := w_result || substring(p_source, w_index, 1); END LOOP; randomna_id := w_result; curtime := 'now'; enttime := curtime + '-1 hours'; INSERT INTO user(user_id, user_name, enttime, utdate_time) VALUES (randomsid, randomna_id, last_login_time, curtime); EXCEPTION WHEN unique_violation THEN NULL; END; END LOOP;END;$LANGUAGE 'plpgsql';
执行命令：select insert_users_test();
这个存储过程能够有效处理大规模数据插入任务。以下是一些关键点：
这个解决方案具有以下优点：
需要注意的是，对于每批数据XOTIFY操作以及监控执行时间进行优化是很重要的。
这个方案在设计时尽量减少了直接访问数据库的次数，同时通过随机生成数据确保了唯一性。思考充分考虑了数据库性能和数据生成的需求，是一项可行且高效的方案。
转载地址：http://nlwzk.baihongyu.com/