List集合：多线程快速处理

有一个大List集合，遍历进行一些耗时操作，不能达到性能要求，查询日志，单个任务虽然有不少数据库和第三方API请求，比较耗时，但返回效率尚可，所以优先采用多线程方式进行处理并行请求数据库和第三方API，因为处理完还要对list所属的数据进行操作，所以，线程池多线程处理要等待全部处理完。

相关的代码如下：

@Test
publicvoidtestTB()
{
List< String >list=newArrayList< >();
for(inti=0;i< 900;i++)
{
list.add("a");
}
ExecutorServicetouchWorker=Executors.newFixedThreadPool(4,newThreadFactoryBuilder().setNameFormat("touch-send-worker-%d").build());
intsize=list.size();
if(size>100)
{
intbatch=size%100==0?size/100:size/100+1;
for(intj=0;j< batch; j++)
    {
      intend=(j+1)*100;
if(end>size)
{
end=size;
}
List< String >subList=list.subList(j*100,end);
touchWorker.execute(()->sleepTest(subList));
}
touchWorker.shutdown();
while(true)
{
if(touchWorker.isTerminated())
{
break;
}
}
}
else
{
sleepTest(list);
}
}
privatevoidsleepTest(List< String >subList)
{
for(Stringi:subList)
{
try
{
//耗时操作
System.out.println("######"+i+"######"+Thread.currentThread().getName());
//Thread.sleep(1000*30);
}
catch(Exceptione)
{
e.printStackTrace();
}
}
}

void shutdown()

启动一次顺序关闭，执行以前提交的任务，但不接受新任务。若已经关闭，则调用没有其他作用。

抛出：SecurityException - 如果安全管理器存在并且关闭，此 ExecutorService 可能操作某些不允许调用者修改的线程（因为它没有保持RuntimePermission("modifyThread")），或者安全管理器的 checkAccess 方法拒绝访问。

boolean isTerminated()

若关闭后所有任务都已完成，则返回true。注意除非首先调用shutdown或shutdownNow，否则isTerminated永不为true。返回：若关闭后所有任务都已完成，则返回true。

当然还有一种方法，是之前写的，方法比上边的臃肿了，不过会获取返回结果进行处理：逻辑是获取所有页面的List，多线程遍历List后，将所有页面的违规词查出发送邮件，代码：

/**
*落地页违规词排查(多线程)。
*@return
*/
@Test
publicvoidgetViolationsLandpageByThreadPool(){
try{
landPageService.getViolationsLandpageByThreadPool("1年");
}catch(Exceptione){
e.printStackTrace();
}
}

//开始时间
longstart=System.currentTimeMillis();
/*Listlist=newArrayList();
for(inti=1;i<= 3000; i++) {
    list.add(i + "");
}*/

Listlist=landPageDao.getPageIdAndPath();
//初始化敏感词库对象
SensitiveWordInitsensitiveWordInit=newSensitiveWordInit();
//从数据库中获取敏感词对象集合（目前先放在资源文件中，等以后比较多或者需要界面操作时再用数据库）
//构建敏感词库
MapsensitiveWordMap=sensitiveWordInit.initKeyWord(vioKey);
//传入SensitivewordEngine类中的敏感词库
SensitivewordEngine.sensitiveWordMap=sensitiveWordMap;
//每500条数据开启一条线程
intthreadSize=11000;
//总数据条数
intdataSize=list.size();
//线程数
intthreadNum=dataSize/threadSize+1;
//定义标记,过滤threadNum为整数
booleanspecial=dataSize%threadSize==0;

/*list.parallelStream().forEach(url->{});*/
//创建一个线程池
ExecutorServiceexec=Executors.newFixedThreadPool(threadNum);
//定义一个任务集合
List>>tasks=newArrayList>>();
Callable>task=null;
ListcutList=null;

//确定每条线程的数据
for(inti=0;i< threadNum; i++) {
    if(i==threadNum-1){
if(special){
break;
}
cutList=list.subList(threadSize*i,dataSize);
}else{
cutList=list.subList(threadSize*i,threadSize*(i+1));
}
// System.out.println("第"+(i + 1)+"组："+ cutList.toString());
finalListlistStr=cutList;
task=newCallable>(){

@Override
publicListcall()throwsException{
// System.out.println(Thread.currentThread().getName()+"线程："+ listStr.get(0).getPageId());
Listresult=newArrayList();
for(LandPagelandPage:listStr){
LongpageId=landPage.getPageId();
Stringpath=landPage.getPath();
Integerversion=landPage.getVersion();
StringpageUrl=landPage.getPageUrl();
StringactualUser=landPage.getActualUser();
IntegerpageType=landPage.getPageType();
if(StringUtils.isNotBlank(path)){
//调用第一个方法，获取html字符串
Stringhtml=httpRequest(path);
//调用第二个方法，获取包含的违规词
if(StringUtils.isNotBlank(html)){
html=html.replaceAll("","");
//Stringbuffer=htmlFiter2(html);
SetbufferSet=SensitivewordEngine.getSensitiveWord(html,1);//得到敏感词有哪些，传入2表示获取所有敏感词//sensitiveWordFiltering(html);
/*String[]word={"备案","错过将延误","仅需1980元"};
for(inti=0;i
String[]word={
"一年","1年学完","一年学完","1年内学完","一年内学完"
};
for(inti=0;iif(html.contains(word[i])){
bufferSet.add(word[i]);
}
}
if(null!=bufferSet&&bufferSet.size()>0){

StringsensitiveWord=bufferSet==null?null:bufferSet.toString();
if("[]".equals(sensitiveWord)){
sensitiveWord="";
}
LandPagepage=newLandPage();
page.setPageId(pageId);
page.setPath(path);
page.setVersion(version);
page.setDescription(sensitiveWord);
page.setPageUrl(pageUrl);
page.setActualUser(actualUser);
page.setPageType(pageType);
result.add(page);
System.out.println(pageUrl);
}
}
}
}
return(List)result;
}
};
//这里提交的任务容器列表和返回的Future列表存在顺序对应的关系
tasks.add(task);
}

List>>results=exec.invokeAll(tasks);
Listresult=newArrayList();
for(Future>future:results){
result.addAll(future.get());
}

//关闭线程池
exec.shutdown();
System.out.println("线程任务执行结束");
System.err.println("执行任务消耗了："+(System.currentTimeMillis()-start)+"毫秒");

System.out.println("共有###########"+list.size());

result就是需要发送邮件的相关结果了

审核编辑 ：李倩