【问题标题】:Load csv file again during gatling simulation在加特林模拟期间再次加载 csv 文件
【发布时间】:2020-10-15 13:18:43
【问题描述】:

我正在尝试运行具有两个场景的模拟。 设置看起来像这样

setUp(
 scn1.inject(rampConcurrentUsers(minUserCount) to (tps) during (testRampSeconds seconds),constantConcurrentUsers(tps) during (testDurationSeconds seconds)).throttle(reachRps(tps) in (1 seconds), holdFor(testDurationSeconds seconds), jumpToRps(0), holdFor(60 seconds)).protocols(httpProtocol),
 scn2.inject(nothingFor(testDurationSeconds),atOnceUsers(1)).protocols(httpProtocol)
  )

场景 1 进行 REST API 调用,响应数据保存在 csv 文件中

PrintWriter 写入文件:

  val fileWriter = {
    val fos = new java.io.FileOutputStream("foo.csv")
    val appTokenWriter = new java.io.PrintWriter(fos,true)
    appTokenWriter.println("data")
    appTokenWriter
  }

场景 2 等待场景 1 完成,以便一次处理 csv 文件中的所有条目。

.foreach(csv(foo.csv).readRecords,"record") {
      exec(flattenMapIntoAttributes("${record}"))
      .exec(session => {
        println(session("data").as[String])
        session
      })
      .exec(...REST Call...)

csv(foo.csv).readRecord 没有提取被场景 1 刷新到 csv 中的值。 csv(foo.csv).readRecords.size = 0 in Scenario2 但我可以看到文件中写入的数据

这是在两个场景之间维护数据的正确方法吗? 如果是,我如何让 .readRecords API 选择最新的更改。 如果没有,请提出正确的方法。

编辑:基于 Stephane 的实现,尝试使用 ConcurrentLinkedDeque

package com.intuit.platform.identity.oauth2.performance.simulation

import java.util.concurrent.ConcurrentLinkedDeque

import io.gatling.core.Predef._
import io.gatling.core.feeder.Feeder
import io.gatling.http.Predef.http

import scala.concurrent.duration._
import scala.util.Random

/**
 * @author vnarayanan
 */
class SOSimulation extends Simulation {

  val httpProtocol = http.baseUrl("localhost:8080")

  val dataQueue = new ConcurrentLinkedDeque[String]()

  val saveInQueue = exec{ session => {
    dataQueue.offer(session("data").as[String])
    session
  }
  }

  class DataFeeder extends Feeder[String] {
    override def hasNext: Boolean = dataQueue.size() > 0
    override def next(): Map[String, String] = {
      Map("data" ->dataQueue.poll())
    }
  }
  
  val scenario1  = scenario("Scenario1")
    .exec(session => {
      session.set("data", Random.alphanumeric.take(20).mkString)
    })
    .exec(saveInQueue)

//I need to stop the requests when the queue is empty. tried it with two solutions:
//  1) asLongAs
//  2) repeat (commented)


  val scenario2  = scenario("Scenario2")
    .exec(session => {
      println(dataQueue.size())
      session
    })
    .asLongAs(dataQueue.size() > 0) {
      exec(session => {
        println(dataQueue.size())
        session
      })
        .feed(new DataFeeder())
        .exec(session => {
          println(session("data").as[String])
          session
        })
    }

//  With Repeat

//  val scenario2  = scenario("Scenario2")
//    .exec(session => {
//      println(dataQueue.size())
//      session
//    })
//    .repeat(dataQueue.size() ) {
//      exec(session => {
//        println(dataQueue.size())
//        session
//      })
//        .feed(new DataFeeder())
//        .exec(session => {
//          println(session("data").as[String])
//          session
//        })
//    }
    

  setUp(
    scenario1.inject(atOnceUsers(10)).throttle(reachRps(1) in (1 seconds), holdFor(5 seconds), jumpToRps(0), holdFor(10 seconds)).protocols(httpProtocol),
    scenario2.inject(nothingFor(5 seconds),atOnceUsers(1)).protocols(httpProtocol)

  ).maxDuration(10 seconds)
}

【问题讨论】:

    标签: csv gatling scala-gatling


    【解决方案1】:

    我们内置的 csv 馈送器无法做到这一点。 现在,请记住FeederIterator[Map[String, Any]] 的别名,因此您可以编写自己的实现来支持您的用例。 例如,您可以将数据保存在内存中的 ConcurrentLinkedDeque 中,而不是写入和读取文件。

    【讨论】:

    • 感谢您的建议。我确实尝试过 ConcurrentLinkedDeque。 val appTokensToDeleteQueue = new ConcurrentLinkedQueue[String]() class DataFeeder extends Feeder[String] { override def hasNext: Boolean = AppTokensToDeleteQueueHolder.appTokensToDeleteQueue.size() > 0 override def next(): Map[String, String] = { println(AppTokensToDeleteQueueHolder.appTokensToDeleteQueue.size()) Map("appToken" -> AppTokensToDeleteQueueHolder.appTokensToDeleteQueue.poll()) } } 并初始化 .feed(new DataFeeder())。为此,队列始终为空。你能帮我解决这个问题吗?
    • 你必须在场景1中提供数据到队列中。
    • 是的,这就是我们向 Deque AppTokensToDeleteQueueHolder.appTokensToDeleteQueue.offer(session("appToken").as[String]) 提供内容的方式我在之前的评论中错了。队列不为空,但 .feed 调用中的 DataFeeder 没有做任何事情。 DataFeeder的初始化和代码做对了吗?
    • 它应该可以工作。请提供一个简短、独立、正确(可编译)的示例(请参阅sscce.org
    • 用示例代码在问题中添加了一个编辑。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-11-07
    • 1970-01-01
    • 2020-07-04
    • 1970-01-01
    • 2010-09-18
    相关资源
    最近更新 更多