【搞定】导入xml文件的问题**

lijunfeng · 发表于 2007-3-2 11:35:52

以前提过这个问题,见http://bbs.justep.com/forum.php? ... hlight=loadfromfile
四楼给出的解决方法,(做另外一个数据集B，把A数据集的数据都增加到B数据集，提交B数据集),我们遍历数据集,然后导过去.
现在,数据量很大,可能有几万条,导致速度很慢.这个过程是否有更好的解决方法?

alang · 发表于 2007-3-2 14:45:04

几万条数据同时插入到数据库中，当然速度会非常的慢了，关键是你用了多少时间，这么多时间是否正常。
如果你觉得时间太长了，不正常，用BizMonitor看看慢在什么地方了

lijunfeng · 发表于 2007-3-2 15:06:37

是把数据从数据集A，一条一条的插到数据集B，这个时候速度慢。
特别是数据集B的append操作耗费时间。
不知道，把数据从A拷贝到B有什么好的方法没？

alang · 发表于 2007-3-2 15:22:03

慢？慢到什么程度？
插入一条记录要多少时间呢？

lijunfeng · 发表于 2007-3-2 16:28:33

每秒100条，后来越来越慢
插了3000条的时候，明显慢了，只有几十条了
再过会，就十几条了
bussiness的内存一直在加，到150M的时候，就不变了，这个时候，一秒几条...

lijunfeng · 发表于 2007-3-2 16:36:29

我用LoadFromFile方法，将XML文件Load进了dataset里，但是保存不了。我想找个方式，高效的将数据存储到数据库里去。
目前的这个方法太耗时了。有没有别的什么方法？可能要同时Load近十万条数据。

jiahaiminghr · 发表于 2007-3-2 17:50:10

如果是近十万条记录，那么在客户端怎么都不可能很快的。
从客户端提交数据到服务器的过程是无论如何都避免不了的。

lijunfeng · 发表于 2007-3-2 18:02:39

这里影响速度的原因,并不是客户端和服务器交互慢,而是客户端自身apend这个动作影响了效率.

tang · 发表于 2007-3-2 18:45:17

可以每插入 1000 条数据后，提交一次，然后清空数据集，然后继续插入。。。。。

lijunfeng · 发表于 2007-3-5 10:02:20

ok,问题都解决了.
THX~

		自动登录	找回密码
密码			立即注册