• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • Computer Vision / Video Analytics

    NVIDIA Metropolis ??????? ? API? ???? ???? ?? AI ?????? ??

    Reading Time: 8 minutes

    NVIDIA Metropolis ???????? ?? AI ?????? ? ??? ??? ?? ???? ??? ?? ??? ???? ???? API ? ???????? ?????. ?? ? ??????? NVIDIA Jetson? ???? ???? ???? ???? ??? ?? AI ??????? ??? ???? ???? ? ????.

    API? ?? ?? ??????? ??? ?? ??? ?? ? ??? ???? ????? ??? ???, ?? ??? ? ???? ??????. ??? ?? ??????? ???? ?? ? ?? ???? ??? ??? ????? AI ?? ???? ? ?? ?????.

    ? ?????? ?? AI ??????? ???? ?? ?? ????? ??????? ???? ?? API ?????? ?????. ?????? ??? ?? ? ?? ?? ??? ?????:

    • API? ???? WebRTC? ?? ???? ?? ????? ??? ??????.
    • API? ?? ????? tripwire ??? ???? ??/??? ???? ?? ????? ??? ?????.
    • ???? ????? ???? ??? ?? ???? API ???? ?????.

    ??? ????

    Jetson? NVIDIA Metropolis ???????? ?? AI ?????? ??? ?? ??? ?? ? ??? ??? ???????? ??? ??? ????? ??? ??? ??? ????? ?????. ? ???? ??? ?? ? ???? ????? ?? ??? ???? ?????. ??? ????????? ??? ???? ??(VST), NVIDIA DeepStream ?? AI ?? ???, ????? ???? ?????. ? ???????? ???????? ??? ???? ???? ? ?? API? ?????.

    ??? API? ???? ???? ?????? ?? ?????? ???? ??? ??? API? ???? ? ???? ?? ??? ???? ?? Ingress ??? ???? ???? ??? ??? ?????. ????? ??????? Ingress ???? ?? ? API? ???? ??????? ??? ?????. ?? NVIDIA Metropolis ???????? ?????? ??? API? ???? ???? ? ?? ? ?? ??? ?? ? ?? IoT ???? ??? ?????.

    ?? 1. Jetson? ???? ???? NVIDIA Metropolis ???????

    WebRTC? ?? ??? ????

    ??? ??? ????? ?? ????? ?? ???? ???? ??? ???? ??? ???? ?? ?? ??? ?? ???? ???? ?? ?????. ? ??? VST API? ??? ???? ?? ??? ?? ?????. VST ???????? ???? ?? ??? ? ?? ???? ???? P2P ??? ?? ??? WebRTC(? ??? ??) ????? ???? ?? ????? ?????.

    ? ????? WebRTC ????? ??? ?? ?? ??? ?? ??? VST API? ???? WebRTC ?? ????? ????? ??? ?????. WebRTC? ? ????? VST? ???? Jetson ??? ?? ? ?? ?? ?? ??? ??? ???? ?? ??? ?? ?? ???????.

    WebRTC ????? ?? ??

    ???? WebRTC ???? ??? ??? ? ?? ??? ?????:

    ??? ????: VST API? ???? ??? ???? ???, ???? ?? ? ??????? ?????.

    ???? ??: WebRTC ??? ?? ?? ??? ???? VST ?? ??? ? ?????.

    ICE(??? ?? ??) ??: ??(peer) ?? ??? ?? ??? ???? ?? VST-WebRTC ?? ?? ??? ?? ?????. ??? ? NAT(???? ?? ???)? ???? ? ?????.

    STUN(NAT? ?? ???? ????) ??: ?? IP ??? ??? ???? ? ??? ?? ICE ??? ? ?????. ??? ??(NAT ??) IP ??? ??? ? ?????. ??? ???? ?????? ????? ?? ??????.
    TURN(NAT ?? ???? ??? ????) ??: ?? ?? ? ?? ??? ??? ?? ??? ??? ??, ??? ?? ?? ????? ?? ???? ?????. ?? Twilio? ?? ?? ???? ?? ?????.

    ?? 2. WebRTC ????? ?? ???

    WebRTC ?? ??

    WebRTC ??? ?? ??? ??? ??? ???? ?? ?? ? ????? ??????.

    ?? ??? ???, ????, ICE ?? ??, ?? ?? ?? ??? ??? ?? ? ??? ???? ??? ? ?? ????. VST? ??? ????? API? ?? ??? ??? ???? ??? ? ??? ?????.

    ??? ??? ??? ??? ??? ??? ?? ?? ? ?? ??, ????? ?? ??? ???? ???.

    VST API? ?? WebRTC ???? ?????

    ?? 3? WebRTC ??? ????? ?? ?? ? ??? ??? ??? ?????? VST ?? ?? ??? ?????.

    ?? 3. VST? ??? WebRTC ? ???


    ? ???? ?????? api/v1/sensor/list API? ???? ??? ??? ???? ???? ??? ?????.

    ?? ? ??? ??? ?? ?? ??? ?? ?????:

    • ?????? GET api/v1/live/iceServers ?? api/v1/replay/iceServers? ???? VST?? ICE ?? ??? ?????.
    • ?????? ?? ??? ???? POST api/v1/live/stream/start ?? api/v1/replay/stream/start? ???? VST? ??? ????.
    • VST? ?????? ?? ??? ???? ?? ???? ?????.
    • ?????? peerid? ?? ????? ???? api/v1/live/iceCandidate ?? api/v1/replay/iceCandidate? ?? GET ? POST ??? ???? ICE ??? ?????.
    • ?? ??? ???? ??? ???? ???? ?????.

    ????? ?? ?? ? ?????? ?? ??? API? ???? ????? ??? ? ????:

    ??? ????? ?? ??: api/v1/replay/stream/pause
    ??? ????? ??: API/V1/REPLAY/STREAM/ RESUME
    ????? ?? ?? ??: API/V1/REPLAY/STREAM/SEEK

    ????? ?????? ??

    ??? ??? ???? ?????? ???? ??????? WebRTC ??? ????? ???????? HTTP? ?? VST API? ???? ???? ?? ? ??????? ??? ???? ??? ???? ? ??? ? ????. ???? WebRTC ????? ??????? ???? ??? ??? ??? ??? ? ????.

    JavaScript? ???? WebRTC ????? ????? ?? ??? ????:

    ?? ?? ?????

    ??? ?? ???? ? RTCPeerConnection ??? ????.

    ?? ?? ??

    • ??? ???? ?? ??? ???? ?????.
    • ? ??? ???? ???? ??? ???? ????? ?? ??? ??? ???????.

    ?? ??

    • createOffer ???? ???? ?? ??? ?? ??? ?????.
    • ??? ??? ?? ??? ?? ?? ??? ?????.

    VST? ?? ???

    • peerConnection.localDescription? ???? ?? ??(??)? ?????.
    • ??? ?? API(?: api/v1/live/stream/start)? ???? VST? ??? ????.

    VST??? ?? ??

    VST??? ?? API ???? SDP ??? ??? peerConnection.setRemoteDescription? ???? ?? ?? ???? ?????.

    ICE ?? ??

    • api/v1/live/iceCandidate API? GET ? POST ??? ???? ICE ??? ?????.
    • ??? ICE ??? peerConnection.addIceCandidate? ???? ?? ??? ?????.

    ?? ??? ?? ?? ???? ? ?? ????

    ????? ???????? ? ?? ?? ?? ?? ????? ??? ?????:

    • ???(FOV): ??? ??? ?? ???? ??? ?? ?????.
    • tripwire: ???? ??? tripwire ? ????(tripwire line segments)? ????? ???? ??? ?????.
    • ?? ??(ROI): ??? ?? ??? ?? ???? ??? ?? ?????.

    ??? ??? ?? ???? ??? ???? ???? ??? ???? ??? ? ?? ??? ?? ??? ????, ?? ??, ?? ? ?? ???? ??? ?? ??? ????. ????? ??????? API? ???? ?? ??? ????, tripwire? ????, ??? ? ??? ?? ?? ? ??? ?????.

    ? ????? tripwire? ?? ??? ??? ????? ??? ?????. ??? ???? ???? FOV ? ROI? ???? ? ????. ? ??? ?? ??? ????? ?? ?? HTTP ?????? HTTP API? ?????.

    ?? ?? ??

    ? ?? ???, tripwire? ??? ??? ??? ?????.
    ?? ??? ???? ?? VST API? ?????. ??? ???? ?? ?? ??? ?????. ?? ??? name ??? tripwire ?? ? ??? ???? ???? ?? ?? ???? ?? ID? ?????. ? ??? IP ??? ????.

    http://<device-ip>:30080/vst/api/v1/sensor/list

    tripwire ?????? ???

    ? ????? tripwire? ???? ???? ??? ?? ??? ??? ?????.

    tripwire? ??? ? ?? ??? ?????:

    • Sensor ID: tripwire? ??? ??? ?????.
    • Tripwire ID tripwire? ?????. ??? ??? ?? ?? ??? ?? ? ????. ? tripwire?? ??? ???? ??? ???.
    • Wire: tripwire? ???? ??? ???? ??? ????.
    • ??: ???(??/??)? ???? ???? ??(? ?)???.

    ?? ??? ??? ??(??? ??)? ????. ?? ? ???? (0,0)???.

    NVIDIA Metropolis ???????? ?? ???? ???? ??? ?? ?? ????? ??????? (x, y) ??? ???? ??? ?? ?? ?? ??? ? ?? ??? ??? ?????. ?? 4? ??? ?? ?? ?? ? ???? tripwire? ?? ?????. ???? ?? ?? ?????? ???? tripwire ?? ???? ???? ???(??? ???)? ?? tripwire(?? ?)? ?????.

    ?? 4. NVIDIA Metropolis ???????? ?? ???? ???? ??? ?? tripwire ??? ???

    Id = Amcrest_3? ??? ?? Id = main_door? tripwire? ????? ??? ????? ??? ?? HTTP API ?? ?????:

    http://<device-ip>:30080/emdx/api/config/tripwire?sensorId=Amcrest_3
    {
      "deleteIfPresent": false,
      "tripwires": [
        {
            "direction": {
              "entry": {
                "name": "Inside the room"
              },
              "exit": {
                "name": "Outside of the room"
              },
              "p1": { "x": 753, "y": 744},
              "p2": { "x": 448, "y": 856}
            },
            "id": "main_door",
            "name": "Main door",
            "wire": [
              { "x": 321, "y": 664 },
              { "x": 544, "y": 648 },
              { "x": 656, "y": 953 },
              { "x": 323, "y": 1067}
            ]
          }
      ],
      "sensorId": "Amcrest_3"
    }

    tripwire ?? ?? ??(?? ??)

    ?? tripwire? ?? ?? ??? ???? ?? ?? ?????. ?? ??? ?? ??? ???? ?? ???? ???? ?? ?????.

    ? ??? tripwire(main door)? ?? ???? ??? ??? ??? ????? ?? ??? ????? ?? API ??? ?????:

    http://<device-ip>:30080/emdx/api/config/rule/alerts/tripwire
    {
      "sensorId": "Amcrest_3",
      "rules": [
        {
          "rule_id": "cd2218f6-e4d2-4ad4-9b15-3396e4336064",
          "id": "main_door",
          "type": "tripwire",
          "rule_type": "increment",
          "time_interval": 1,
          "count_threshold": 1,
          "direction": "entry"
        }
      ]
    }

    tripwire ?? ? ?? ????

    ? ????? ??? ??? tripwire? ??? ??? ?? ???? ??? ?????. ??? ?? ?? tripwire? ?? ??? ?? ??? ?? ??? ??? ??? ?? ????.

    ?? tripwire(sensorId, tripwireId)? ??, ?? ??(fromTimestamp, toTimestamp)? ?? ??? ???? ??? ?? ?(fixedInterval)?? ??? ? ????. ?????, alerts ?? ????? true? ???? ?? ? ??? ??? ? ????:

    http://<device-ip>:30080/emdx/api/metrics/tripwire/histogram?sensorId=Amcrest_3&tripwireId=main_door&fromTimestamp=2020-10-30T20:00:00.000Z&toTimestamp=2020-10-30T20:01:00.000Z&fixedInterval=1000&alerts=true
    {
        "alerts": [
         {
                "count": 1,
                "description": "1 people entered tripwire",
                "duration": 1.000,
                "startTimestamp": "2020-10-30T20:00:59.000Z",
                "endTimestamp": "2020-10-30T20:01:00.000Z",
                "id": "unique-alert-id",
                "rule_type": "increment",
                "rule_id": "cd2218f6-e4d2-4ad4-9b15-3396e4336064",
                "sensorId": "Amcrest_3",
                "type": "tripwire",
                "direction": "entry",
                "directionName": "Inside the room", 
                "attributes": [..],
            }
         ],
        "counts": [
          {
            "agg_window": "1 sec",
            "histogram": [
              {
                "end": "2020-10-30T20:00:01.000Z",
                "start": "2020-10-30T20:00:00.000Z",
                "sum_count": 1
              }
            ],
            "attributes": [...],
            "sensorId": "Amcrest_3",
            "type": "exit"
          },
          {
            "agg_window": "1 sec",
            "histogram": [
              {
                "end": "2020-10-30T20:00:01.000Z",
                "start": "2020-10-30T20:00:00.000Z",
                "sum_count": 0
              },
              …..
            ],
            "attributes": [.. ],
            "sensorId": "Amcrest_3",
            "type": "entry"
          }
        ]
      }

    ?????? ? ??? ?? ????? ?????. ?? ?? ??? fixedInterval? ?? ??? ????. ? ?? ???? ??, ??? ?? ???? sum_count? ?????.

    tripwire ?? ????

    ?? ??? ?? ?? ??? ????? ?? API? ?????:

    http://<device-ip>:30080/emdx/api/alerts?sensorId=Amcrest_3&fromTimestamp=2020-10-30T20:00:00.000Z&toTimestamp=2020-10-31T01:00:00.000Z

    ??? ?? ???? ?? API ???

    API? ?? ?????? HTTP ????? ???? ???? ???? ?? ? ??? ???? ? ????. ?? ????? HTTP ??? ???? IP ??? ???? ???? API? ???? ?? ????. ??? ???? ??????? ????? ?????? ????? IP ??? ? ? ????.

    ?? Jetson ??? ??? ?? ???? ??? ? ??? ???? ???? ?? ? ?? NAT ?? IP ??? ??? ? ????. IoT ????? ?????? ??? ?????? ??? ??? ???? ??? ???? ????? ???? ?? ??? ?? API ??? ???? ???.

    ? ????? ?????? ?? ??? ???? ?? ???? ????? ?? HTTP? ??? ??? ????? ??? ? ?? ????? ?? ?????.

    ? ??? ??? ?????? ????? ?? ???? API? ???? ??? ???? ????, ???? ????? ????? ?? ?? ????? ?? ??? ???? ?? ??? ‘???? ???’ ????? ????? ?? ?????. ????? ?? ?? ??? ???? ???? ?? ? ?? ??? ???, ???? ??? ???? ?????? ???? ? ????.

    ? ??? ?? ??? ?? ???? ???? ODM(??? ?? ?? ??) ? OEM(??? ?? ?? ??) ???? ?? ?? ????? ? ???? ??? ???? ???? ??? ? ????.

    IoT ????? ?? ???? API ??? ?? ?????

    ?? IoT ???? ????? Amazon Cognito? IdP(ID ???)? ?????, ???? ?? ?? ID ????? ??? ? ????. ???? ?????? ?? ?? API? ?????? ??? ??? ?? ? ?? ?? ?? ??? ?????.

    Amazon Cognito? ????

    ? ??? ???? ??? URI ???? ????? Amazon Cognito? ?????. ??? ???? Amazon Cognito? ??? ?? ??? ?????. ?? ??? ???? Amazon Cognito? ?? ?? ID ??? ????? ?????. IoT ???? ?? API? ??? ? ? ID ??? ?????.

    ?? 5. IDP? ???? ?? ?? ??

    JWT ??? ???? ???? API ????

    IoT ?? API? ?????? ?? IoT ???? ??? ?? ??? ?????. ??? ??? ??? IoT ???? ???? ?? ??? ?? ?? JWT ??? ?????. ?? ?? ? ??? ???? IoT ???? ??? ?? ?? API? ???? ? ??? ???? ???? ??? ??? ?????.

    ????? ?? ???? ?? ??? ??? ? ?? ??? ?? ?? ??? ?? HTTP ?? ??? ?????.

    ?? 6. IoT ????? ????? ??? ???? ?? ?? ??

    ??

    NVIDIA Metropolis API ? ???????? ???? ???? ??? ??? ? ?? ??? ?? AI ??????? ?????. API? ??? NVIDIA Metropolis ???????? ??? ??? ? ?? ????? ???? ??? ??? ?????. ?? ???? ??? ???? ??? ??????? ??, ??? ????, ??, ??, ???? ?? ? ???? ???? ???? ??? ???? ?????? ?? ??? API? ???? ??? ??? ?? ??? ??????? ?????. ? ???????? ?? ??? ???? ???, ??? ??? ??? ? ???? ??? ??? ?? ??? ??? ? ????.

    Jetson? NVIDIA ?????? ???????? ???????. ??? 2?? ??? ???, Jetson? ?????? API ? ???????? ?? AI ?? ???(1?) ? Jetson? ?????? ???????? ???? ??(2?)? ???? ?????.

    ?? ???

    GTC ??: ??? AI? ?? ??? ??? ???? ???? ??????? ???? ??
    GTC ??: ???? ????: ?? AI ?????? ???? ?? ?? ??
    GTC ?? Connect With the Experts: ?? AI ???
    SDK: ??? ?? SDK
    ???: Jetson? Metropolis API ? ???????? ?? AI ?? ?????
    ???: Gen AI? ?? AI ?????? ??

    Discuss (0)
    +3

    Tags

    人人超碰97caoporen国产