SDK对YUV视频连串举行编码,canvas基础第四节

HTML5:使用Canvas实时处理Video

2015/09/11 · HTML5 ·
Canvas

本文由 伯乐在线 –
cucr
翻译,唐尤华
校稿。未经许可,禁止转发!
英文出处:mozilla。欢迎参加翻译组。

结合HTML5下的videocanvas的效率,你可以实时处理视频数据,为正值播放的视频添加各样各种的视觉效果。本学科演示怎么样选择JavaScript代码完毕chroma-keying特效(也被誉为“肉色显示器效应”)。

请看这些实例.

1、FFMpeg举行录像编码所急需的构造:

来探视机智的前端童鞋怎么防盗

2016/07/12 · JavaScript
· 4 评论 ·
HTML5

原稿出处: VaJoy   

重重支出的童鞋都是寥寥混江湖、夜宿城中村,如若居住的地点安保欠缺,那么出门在外难免担心屋里的财产安全。

实在世面上有很多伟人上的防盗设施,但对此灵动的前端童鞋来说,只要有一台附带视频头的总计机,就可以省略地贯彻一个防盗监控体系SDK对YUV视频连串举行编码,canvas基础第四节。~

纯 JS 的“防盗”能力很大程度借助于 H5 canvas
的力量,且很是幽默。如果你对 canvas
还不熟谙,能够先点这里读书我的不胜枚举教程。

step1. 调用视频头

我们要求先在浏览器上访问和调用视频头,用来监督屋子里的举止。分裂浏览器中调用录像头的
API 都略有出入,在那边我们以 chrome 做示范:

JavaScript

<video width=”640″ height=”480″ autoplay></video>
<script> var video = document.querySelector(‘video’);
navigator.webkitGetUserMedia({ video: true }, success, error); function
success(stream) { video.src = window.webkitURL.createObjectURL(stream);
video.play(); } function error(err) { alert(‘video error: ‘ + err) }
</script>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<video width="640" height="480" autoplay></video>
 
<script>
    var video = document.querySelector(‘video’);
 
    navigator.webkitGetUserMedia({
                video: true
            }, success, error);
 
    function success(stream) {
        video.src = window.webkitURL.createObjectURL(stream);
        video.play();
    }
 
    function error(err) {
        alert(‘video error: ‘ + err)
    }
</script>

运转页面后,浏览器出于安全性考虑,会询问是或不是允许当前页面访问你的视频头设备,点击“允许”后便能一直在
<video> 上来看拍摄头捕获到的镜头了:

亚洲必赢官网 1

step2. 捕获 video 帧画面

只但是开着视频头监视房间可不曾任何意义,浏览器不会帮你对督查画面举办解析。所以那边大家胜利动用脚本捕获
video 上的帧画面,用于在此起彼伏进展多少解析。

从此处初阶大家就要借助 canvas
力量了。在 Canvas入门(五)一文我们介绍过 ctx.drawImage()
方法,通过它可以捕获 video 帧画面并渲染到画布上。

咱俩须要创制一个画布,然后这么写:

JavaScript

<video width=”640″ height=”480″ autoplay></video> <canvas
width=”640″ height=”480″></canvas> <script> var video =
document.querySelector(‘video’); var canvas =
document.querySelector(‘canvas’); // video捕获视频头画面
navigator.webkitGetUserMedia({ video: true }, success, error); function
success(stream) { video.src = window.webkitURL.createObjectURL(stream);
video.play(); } function error(err) { alert(‘video error: ‘ + err) }
//canvas var context = canvas.getContext(‘2d’); set提姆eout(function(){
//把当前视频帧内容渲染到画布上 context.drawImage(video, 0, 0, 640, 480);
}, 5000); </script>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
<video width="640" height="480" autoplay></video>
<canvas width="640" height="480"></canvas>
 
<script>
    var video = document.querySelector(‘video’);
    var canvas = document.querySelector(‘canvas’);
 
    // video捕获摄像头画面
    navigator.webkitGetUserMedia({
                video: true
            }, success, error);
 
    function success(stream) {
        video.src = window.webkitURL.createObjectURL(stream);
        video.play();
    }
 
    function error(err) {
        alert(‘video error: ‘ + err)
    }
 
    //canvas
    var context = canvas.getContext(‘2d’);
 
    setTimeout(function(){
        //把当前视频帧内容渲染到画布上
        context.drawImage(video, 0, 0, 640, 480);
    }, 5000);
 
</script>

如上代码所示,5秒后把视频帧内容渲染到画布上(下方右图)

亚洲必赢官网 2

step3. 对捕获的七个帧画面执行差异混合

在上边我们关系过,要管用地辨别某个场景,需要对视频画面举办数据解析。

那就是说要怎么分辨我们的房屋是还是不是有人忽然闯入了呢?答案很简短 —— 定时地捕获
video 画面,然后相比前后两帧内容是或不是留存较大转移。

俺们先简单地写一个定时捕获的艺术,并将捕获到的帧数据存起来:

JavaScript

//canvas var context = canvas.getContext(‘2d’); var preFrame, //前一帧
curFrame; //当前帧 //捕获并保存帧内容 function captureAndSaveFrame(){
console.log(context); preFrame = curFrame; context.drawImage(video, 0,
0, 640, 480); curFrame = canvas.toDataURL; //转为base64并保存 }
//定时捕获 function timer(delta){ set提姆(Tim)eout(function(){
captureAndSaveFrame(); timer(delta) }, delta || 500); } timer();

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
    //canvas
    var context = canvas.getContext(‘2d’);
    var preFrame,   //前一帧
        curFrame;   //当前帧
 
    //捕获并保存帧内容
    function captureAndSaveFrame(){ console.log(context);
        preFrame = curFrame;
        context.drawImage(video, 0, 0, 640, 480);
        curFrame = canvas.toDataURL;  //转为base64并保存
    }
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            timer(delta)
        }, delta || 500);
    }
 
    timer();

如上代码所示,画布会每隔500飞秒捕获并渲染四遍 video
的帧内容(夭寿哇,做完这么些动作不小心把饼干洒了一地。。。\(“▔□▔)/)

亚洲必赢官网 3

在意那里大家使用了 canvas.toDataURL 方法来保存帧画面。

接着就是数据解析处理了,大家得以由此对照前后捕获的帧画面来判断摄像头是或不是监控到变化,那么咋做呢?

熟悉设计的同窗肯定平时使用一个图层作用 —— 混合方式:

亚洲必赢官网 4

当有多个图层时,对顶层图层设置“差值/Difference”的叶影参差格局,可以看清地看出五个图层的不一样:

亚洲必赢官网 5

“图A”是本人二〇一八年在商店楼下拍的照片,然后我把它多少调亮了一点点,并在上头画了一个
X 和 O
得到“图B”。接着我把它们以“差值”方式混合在一齐,得到了最右的那张图。

JavaScript

“差值”形式原理:要掺杂图层双方的RGB值中各样值分别举行相比,用高值减去低值作为合成后的颜色,平时用白色图层合成一图像时,可以获取负片效果的反相图像。用粉黑色的话不暴发其他变动(粉色亮度最低,下层颜色减去最小颜色值0,结果和原来一样),而用白色会获得反相效果(下层颜色被减去,获得补值),别的颜色则根据它们的亮度水平

1
“差值”模式原理:要混合图层双方的RGB值中每个值分别进行比较,用高值减去低值作为合成后的颜色,通常用白色图层合成一图像时,可以得到负片效果的反相图像。用黑色的话不发生任何变化(黑色亮度最低,下层颜色减去最小颜色值0,结果和原来一样),而用白色会得到反相效果(下层颜色被减去,得到补值),其它颜色则基于它们的亮度水平

在CSS3中,已经有 blend-mode
特性来支撑那个好玩的混合格局,但是大家发现,在主流浏览器上,canvas
的 globalCompositeOperation 接口也一度可以援救了图像混合方式:

于是我们再建多一个画布来展示前后两帧差别:

JavaScript

<video width=”640″ height=”480″ autoplay></video> <canvas
width=”640″ height=”480″></canvas> <canvas width=”640″
height=”480″></canvas> <script> var video =
document.querySelector(‘video’); var canvas =
document.querySelectorAll(‘canvas’)[0]; var canvasForDiff =
document.querySelectorAll(‘canvas’)[1]; // video捕获录像头画面
navigator.webkitGetUserMedia({ video: true }, success, error); function
success(stream) { video.src = window.URL.createObjectURL(stream);
video.play(); } function error(err) { alert(‘video error: ‘ + err) }
//canvas var context = canvas.getContext(‘2d’), diffCtx =
canvasForDiff.getContext(‘2d’); //将第四个画布混合情势设为“差距”
diffCtx.globalCompositeOperation = ‘difference’; var preFrame, //前一帧
curFrame; //当前帧 //捕获并保存帧内容 function captureAndSaveFrame(){
preFrame = curFrame; context.drawImage(video, 0, 0, 640, 480); curFrame
= canvas.toDataURL(); //转为base64并保存 } //绘制base64图像到画布上
function drawImg(src, ctx){ ctx = ctx || diffCtx; var img = new Image();
img.src = src; ctx.drawImage(img, 0, 0, 640, 480); } //渲染前后两帧差距function renderDiff(){ if(!preFrame || !curFrame) return;
diffCtx.clearRect(0, 0, 640, 480); drawImg(preFrame); drawImg(curFrame);
} //定时捕获 function timer(delta){ set提姆eout(function(){
captureAndSaveFrame(); renderDiff(); timer(delta) }, delta || 500); }
timer(); </script>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
<video width="640" height="480" autoplay></video>
<canvas width="640" height="480"></canvas>
<canvas width="640" height="480"></canvas>
 
<script>
    var video = document.querySelector(‘video’);
    var canvas = document.querySelectorAll(‘canvas’)[0];
    var canvasForDiff = document.querySelectorAll(‘canvas’)[1];
 
    // video捕获摄像头画面
    navigator.webkitGetUserMedia({
                video: true
            }, success, error);
 
    function success(stream) {
        video.src = window.URL.createObjectURL(stream);
        video.play();
    }
 
    function error(err) {
        alert(‘video error: ‘ + err)
    }
 
    //canvas
    var context = canvas.getContext(‘2d’),
        diffCtx = canvasForDiff.getContext(‘2d’);
    //将第二个画布混合模式设为“差异”
    diffCtx.globalCompositeOperation = ‘difference’;
 
    var preFrame,   //前一帧
        curFrame;   //当前帧
 
    //捕获并保存帧内容
    function captureAndSaveFrame(){
        preFrame = curFrame;
        context.drawImage(video, 0, 0, 640, 480);
        curFrame = canvas.toDataURL();  //转为base64并保存
    }
 
    //绘制base64图像到画布上
    function drawImg(src, ctx){
        ctx = ctx || diffCtx;
        var img = new Image();
        img.src = src;
        ctx.drawImage(img, 0, 0, 640, 480);
    }
 
    //渲染前后两帧差异
    function renderDiff(){
        if(!preFrame || !curFrame) return;
        diffCtx.clearRect(0, 0, 640, 480);
        drawImg(preFrame);
        drawImg(curFrame);
    }
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            renderDiff();
            timer(delta)
        }, delta || 500);
    }
 
    timer();
 
</script>

效能如下(夭寿啊,做完这些动作我又把七喜洒在键盘上了。。。(#--)/

亚洲必赢官网 6

可以见到,当前后两帧差别很小时,第四个画布大概是雾里看花的一片,只有当拍摄头捕获到动作了,第四个画布才有可想而知的高亮内容出现。

所以,我们只需求对首个画布渲染后的图像举办像素分析——判断其高亮阈值是不是达标某个指定预期:

JavaScript

var context = canvas.getContext(‘2d’), diffCtx =
canvasForDiff.getContext(‘2d’); //将第四个画布混合格局设为“差距”
diffCtx.globalCompositeOperation = ‘difference’; var preFrame, //前一帧
curFrame; //当前帧 var diffFrame; //存放差别帧的imageData
//捕获并保存帧内容 function captureAndSaveFrame(){ preFrame = curFrame;
context.drawImage(video, 0, 0, 640, 480); curFrame = canvas.toDataURL();
//转为base64并保存 } //绘制base64图像到画布上 function drawImg(src,
ctx){ ctx = ctx || diffCtx; var img = new Image(); img.src = src;
ctx.drawImage(img, 0, 0, 640, 480); } //渲染前后两帧差别 function
renderDiff(){ if(!preFrame || !curFrame) return; diffCtx.clearRect(0, 0,
640, 480); drawImg(preFrame); drawImg(curFrame); diffFrame =
diffCtx.getImageData( 0, 0, 640, 480 ); //捕获差别帧的imageData对象 }
//统计差距 function calcDiff(){ if(!diffFrame) return 0; var cache =
arguments.callee, count = 0; cache.total = cache.total || 0;
//整个画布都是反动时具有像素的值的总额 for (var i = 0, l =
diffFrame.width * diffFrame.height * 4; i < l; i += 4) { count +=
diffFrame.data[i] + diffFrame.data[i + 1] + diffFrame.data[i + 2];
if(!cache.isLoop伊夫(Eve)r){ //只需在率先次循环里执行 cache.total += 255 * 3;
//单个反革命像素值 } } cache.isLoop伊芙r = true; count *= 3; //亮度放大
//重回“差别画布高亮部分像素总值”占“画布全亮处境像素总值”的百分比 return
Number(count/cache.total).toFixed(2); } //定时捕获 function
timer(delta){ set提姆(Tim)eout(function(){ captureAndSaveFrame();
renderDiff(); set提姆eout(function(){ console.log(calcDiff()); }, 10);
timer(delta) }, delta || 500); } timer();

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
    var context = canvas.getContext(‘2d’),
        diffCtx = canvasForDiff.getContext(‘2d’);
    //将第二个画布混合模式设为“差异”
    diffCtx.globalCompositeOperation = ‘difference’;
 
    var preFrame,   //前一帧
        curFrame;   //当前帧
 
    var diffFrame;  //存放差异帧的imageData
 
    //捕获并保存帧内容
    function captureAndSaveFrame(){
        preFrame = curFrame;
        context.drawImage(video, 0, 0, 640, 480);
        curFrame = canvas.toDataURL();  //转为base64并保存
    }
 
    //绘制base64图像到画布上
    function drawImg(src, ctx){
        ctx = ctx || diffCtx;
        var img = new Image();
        img.src = src;
        ctx.drawImage(img, 0, 0, 640, 480);
    }
 
    //渲染前后两帧差异
    function renderDiff(){
        if(!preFrame || !curFrame) return;
        diffCtx.clearRect(0, 0, 640, 480);
        drawImg(preFrame);
        drawImg(curFrame);
        diffFrame = diffCtx.getImageData( 0, 0, 640, 480 );  //捕获差异帧的imageData对象
    }
 
    //计算差异
    function calcDiff(){
        if(!diffFrame) return 0;
        var cache = arguments.callee,
            count = 0;
        cache.total = cache.total || 0; //整个画布都是白色时所有像素的值的总和
        for (var i = 0, l = diffFrame.width * diffFrame.height * 4; i < l; i += 4) {
            count += diffFrame.data[i] + diffFrame.data[i + 1] + diffFrame.data[i + 2];
            if(!cache.isLoopEver){  //只需在第一次循环里执行
                cache.total += 255 * 3;   //单个白色像素值
            }
        }
        cache.isLoopEver = true;
        count *= 3;  //亮度放大
        //返回“差异画布高亮部分像素总值”占“画布全亮情况像素总值”的比例
        return Number(count/cache.total).toFixed(2);
    }
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            renderDiff();
            setTimeout(function(){
                console.log(calcDiff());
            }, 10);
 
            timer(delta)
        }, delta || 500);
    }
 
    timer();

小心那里我们采纳了 count *= 3
来加大差别高亮像素的亮度值,不然得出的数值实在太小了。大家运行下页面(图片较大加载会有点慢)

亚洲必赢官网 7

通过试(xia)验(bai),个人觉得假诺 calcDiff() 重返的比率如果超出
0.20,那么就足以定性为“一间空屋子,突然有人闯进来”的景观了。

step4. 上报相当图片

当上述的乘除发现有意况时,需求有某种途径通告大家。有钱有活力的话可以配备个邮件服务器,直接发邮件甚至短信布告到自己,but
本文走的吃吐少年路线,就不搞的那么高端了。

那么要哪些不难地贯彻充裕图片的反馈呢?我暂且想到的是 ——
直接把题目图片发送到某个站点中去。

此地大家选取新浪的“日记”功能,它可以自由上传相关内容。

JavaScript

p.s.,其实这里原本是想一向把图纸传遍和讯相册上的,可惜POST请求的图样实体必要走
file 格式,即不可能透过脚本更改文件的 input[type=file],转 Blob
再上传也没用,只能作罢。

1
p.s.,其实这里原本是想直接把图片传到博客园相册上的,可惜POST请求的图片实体要求走 file 格式,即无法通过脚本更改文件的 input[type=file],转 Blob 再上传也没用,只好作罢。

我们在保管后台创造日记时,通过 Fiddler 抓包可以见见其请求参数至极简单:

亚洲必赢官网 8

据此可以一贯协会一个请求:

JavaScript

//很是图片上传处理 function submit(){ //ajax 提交form $.ajax({ url :
”, type : “POST”, data : {
‘__VIEWSTATE’: ”, ‘__VIEWSTATEGENERATOR’: ‘4773056F’,
‘Editor$Edit$txbTitle’: ‘告警’ + Date.now(), ‘Editor$Edit$EditorBody’:
‘<img src=”‘ + curFrame + ‘” />’, ‘Editor$Edit$lkbPost’: ‘保存’ },
success: function(){ console.log(‘submit done’) } }); }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
    //异常图片上传处理
    function submit(){
 
        //ajax 提交form
        $.ajax({
            url : ‘http://i.cnblogs.com/EditDiary.aspx?opt=1’,
            type : "POST",
            data : {
                ‘__VIEWSTATE’: ”,
                ‘__VIEWSTATEGENERATOR’: ‘4773056F’,
                ‘Editor$Edit$txbTitle’: ‘告警’ + Date.now(),
                ‘Editor$Edit$EditorBody’: ‘<img src="’ + curFrame + ‘" />’,
                ‘Editor$Edit$lkbPost’: ‘保存’
            },
            success: function(){
                console.log(‘submit done’)
            }
        });
    }

理所当然假设请求页面跟博客园域名分化,是无力回天发送 cookie
导致请求跨域而失效,可是这几个很好解决,直接修改 host
即可(怎么修改就不介绍了,自行百度吗)

自身那边改完 host,通过 
的地点访问页面,发现视频头竟然失效了~

通过谷歌(Google)的文档可以查出,那是为了安全性考虑,非
HTTPS 的服务端请求都无法接通视频头。但是解决办法也是局地,以 window
系统为例,打开 cmd 命令行面板并稳定到 chrome 安装文件夹下,然后实施:

ZSH

chrome
–unsafely-treat-insecure-origin-as-secure=””
–user-data-dir=C:\testprofile

1
chrome –unsafely-treat-insecure-origin-as-secure="http://i.cnblogs.com/h5monitor/final.html"  –user-data-dir=C:\testprofile

此举将以沙箱形式打开一个独立的 chrome
进程,并对点名的站点去掉安全限制。注意我们在新开的 chrome
中得重复登录新浪。

此刻便能健康访问录像头了,大家对代码做下拍卖,当差距检测发现格外时,创造一份日记,最小间隔时间为5秒(但是后来意识没需求,因为今日头条已经有做了时间限定,大概10秒后才能宣布新的日记)

JavaScript

//定时捕获 function timer(delta){ set提姆(Tim)eout(function(){
captureAndSaveFrame(); renderDiff(); if(calcDiff() > 0.2){
//监控到充裕,发日志 submit() } timer(delta) }, delta || 500); }
set提姆eout(timer, 60000 * 10); //设定打开页面分外钟后才起来监控
//很是图片上传处理 function submit(){ var cache = arguments.callee, now
= Date.now(); if(cache.req提姆e && (now – cache.req提姆(Tim)e < 5000))
return; //日记制造最小间隔为5秒 cache.req提姆e = now; //ajax 提交form
$.ajax({ url : ”, type :
“POST”, timeout : 5000, data : { ‘__VIEWSTATE’: ”,
‘__VIEWSTATEGENERATOR’: ‘4773056F’, ‘Editor$Edit$txbTitle’: ‘告警’ +
Date.now(), ‘Editor$Edit$EditorBody’: ‘<img src=”‘ + curFrame + ‘”
/>’, ‘Editor$Edit$lkbPost’: ‘保存’ }, success: function(){
console.log(‘submit done’) }, error: function(err){ cache.reqTime = 0;
console.log(‘error: ‘ + err) } }); }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            renderDiff();
            if(calcDiff() > 0.2){  //监控到异常,发日志
                submit()
            }
 
            timer(delta)
        }, delta || 500);
    }
 
    setTimeout(timer, 60000 * 10);  //设定打开页面十分钟后才开始监控
 
 
    //异常图片上传处理
    function submit(){
        var cache = arguments.callee,
            now = Date.now();
        if(cache.reqTime && (now – cache.reqTime < 5000)) return;  //日记创建最小间隔为5秒
 
        cache.reqTime = now;
 
        //ajax 提交form
        $.ajax({
            url : ‘http://i.cnblogs.com/EditDiary.aspx?opt=1’,
            type : "POST",
            timeout : 5000,
            data : {
                ‘__VIEWSTATE’: ”,
                ‘__VIEWSTATEGENERATOR’: ‘4773056F’,
                ‘Editor$Edit$txbTitle’: ‘告警’ + Date.now(),
                ‘Editor$Edit$EditorBody’: ‘<img src="’ + curFrame + ‘" />’,
                ‘Editor$Edit$lkbPost’: ‘保存’
            },
            success: function(){
                console.log(‘submit done’)
            },
            error: function(err){
                cache.reqTime = 0;
                console.log(‘error: ‘ + err)
            }
        });
    }

施行出力:

亚洲必赢官网 9

日志也是妥妥的出来了:

亚洲必赢官网 10

点开就能观察这么些的那张图纸了:

亚洲必赢官网 11

要注意的是,网易对日记揭橥数据是有做每一日额度限制来防刷的,达到限额的话会导致当天的随笔和小说也无从宣布,所以得严厉运用:

亚洲必赢官网 12

而是那种样式仅能申报卓殊图片,暂时无法让大家当即收悉告警,有趣味的童鞋可以试着再写个
chrome 插件,定时去拉取日记列表做判定,如若有新增日记则触发页面 alert。

其余我们本来愿意能直接对闯入者进行警告,那块相比较好办 ——
搞个警示的音频,在特其他时候接触播放即可:

JavaScript

//播放音频 function fireAlarm(){ audio.play() } //定时捕获 function
timer(delta){ set提姆eout(function(){ captureAndSaveFrame(); if(preFrame
&& curFrame){ renderDiff(); if(calcDiff() > 0.2){ //监控到那多少个//发日记 submit(); //播放音频告警 fireAlarm(); } } timer(delta) }, delta
|| 500); } set提姆eout(timer, 60000 * 10);
//设定打开页面十秒钟后才开始监控

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
    //播放音频
    function fireAlarm(){
        audio.play()
    }
 
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            if(preFrame && curFrame){
                renderDiff();
                if(calcDiff() > 0.2){  //监控到异常
                    //发日记
                    submit();
                    //播放音频告警
                    fireAlarm();
                }
            }
            timer(delta)
        }, delta || 500);
    }
 
    setTimeout(timer, 60000 * 10);  //设定打开页面十分钟后才开始监控

末尾说一下,本文代码均挂在我的github上,有趣味的童鞋可以自助下载。共勉~

1 赞 4 收藏 4
评论

亚洲必赢官网 13

一、图形的组合措施

文档内容

正文使用的XHTML文档如下所示。

XHTML

<!DOCTYPE html PUBLIC “-//W3C//DTD XHTML 1.0 Transitional//EN”
“; <html
xmlns=”; <head> <style> body
{ background: black; color:#CCCCCC; } #c2 { background-image:
url(foo.png); background-repeat: no-repeat; } div { float: left; border
:1px solid #444444; padding:10px; margin: 10px; background:#3B3B3B; }
</style> <script type=”text/javascript;version=1.8″
src=”main.js”></script> </head> <body
onload=”processor.doLoad()”> <div> <video id=”video”
src=”video.ogv” controls=”true”/> </div> <div> <canvas
id=”c1″ width=”160″ height=”96″/> <canvas id=”c2″ width=”160″
height=”96″/> </div> </body> </html>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
        "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
  <head>
    <style>
      body {
        background: black;
        color:#CCCCCC;
      }
      #c2 {
        background-image: url(foo.png);
        background-repeat: no-repeat;
      }
      div {
        float: left;
        border :1px solid #444444;
        padding:10px;
        margin: 10px;
        background:#3B3B3B;
      }
    </style>
    <script type="text/javascript;version=1.8" src="main.js"></script>
  </head>
 
  <body onload="processor.doLoad()">
    <div>
      <video id="video" src="video.ogv" controls="true"/>
    </div>
    <div>
      <canvas id="c1" width="160" height="96"/>
      <canvas id="c2" width="160" height="96"/>
    </div>
  </body>
</html>

以上代码关键部分如下:

1.创造了多少个canvas元素,ID分别为c1和c2。c1用以浮现当前帧的原本视频,c2是用来展现执行chroma-keying特效后的视频;c2预加载了一张静态图片,将用来代替视频中的背景象部分。
2.JavaScript代码从main.js文件导入;那段脚本使用JavaScript
1.8的特性,所以在导入脚本时,第22行中指定了本子。
3.当网页加载时,main.js中的processor.doLoad()方法会运行。

为了贯彻调用FFMpeg的API落成录像的编码,以下结构是要求的:

globalAlpha是一个介于0和1之间的值(包涵0和1),用于指定所有绘制的透明度。默许值为0。倘若拥有继续操作都要根据相同的透明度,就足以先把globalAlpha设置为适当值,然后绘制,最终在把它设置回默许值0.

//绘制一个藏黄色的矩形

context.fillStyle=”red”;

context.fillRect(10,10,50,50);

JavaScript代码

main.js中的JS代码包涵多个章程。

AVCodec:AVCodec结构保留了一个编解码器的实例,完毕实际的编码功效。日常我们在程序中定义一个指向AVCodec结构的指针指向该实例。
AVCodecContext:AVCodecContext表示AVCodec所表示的上下文音讯,保存了AVCodec所急需的一些参数。对于落到实处编码功效,我们可以在那么些结构中安装大家指定的编码参数。常常也是概念一个指针指向AVCodecContext。
AVFrame:AVFrame结构保留编码以前的像素数量,并视作编码器的输入数据。其在程序中也是一个指针的款式。
AVPacket:AVPacket表示码流包结构,包蕴编码之后的码流数据。该社团得以不定义指针,以一个目的的款式定义。
在我们的次序中,大家将这么些协会组成在了一个结构体中:

//修改全局透明度

初始化chroma-key

doLoad()方法在XHTML文档起先加载时调用。这些方式的出力是为chroma-key处理代码准备所需的变量,设置一个事变侦听器,当用户起首播放视频时大家能检测到。

JavaScript

doLoad: function() { this.video = document.getElementById(“video”);
this.c1 = document.getElementById(“c1”); this.ctx1 =
this.c1.getContext(“2d”); this.c2 = document.getElementById(“c2”);
this.ctx2 = this.c2.getContext(“2d”); let self = this;
this.video.addEventListener(“play”, function() { self.width =
self.video.videoWidth / 2; self.height = self.video.videoHeight / 2;
self.timerCallback(); }, false); },

1
2
3
4
5
6
7
8
9
10
11
12
13
doLoad: function() {
    this.video = document.getElementById("video");
    this.c1 = document.getElementById("c1");
    this.ctx1 = this.c1.getContext("2d");
    this.c2 = document.getElementById("c2");
    this.ctx2 = this.c2.getContext("2d");
    let self = this;
    this.video.addEventListener("play", function() {
        self.width = self.video.videoWidth / 2;
        self.height = self.video.videoHeight / 2;
        self.timerCallback();
      }, false);
  },

那段代码获取XHTML文档中video元素和七个canvas元素的引用,还赢得了四个canvas的图纸上下文的引用。这个将在大家完结chroma-keying特效时选择。

add伊芙ntListener()监听video元素,当用户按下录像上的播放按钮时被调用。为了回应用户回看,那段代码获取录像的大幅度和惊人,并且减半(我们将在推行chroma-keying效果时将视频的深浅减半),然后调用timerCallback()方法来启动视频捕捉和视觉效果计算。

/*****************************************
Struct: CodecCtx
Description: FFMpeg编解码器上下文
*****************************************/
typedef struct
{
AVCodec *codec; //指向编解码器实例
AVFrame *frame; //保存解码之后/编码往日的像素数量
AVCodecContext *c; //编解码器上下文,保存编解码器的片段参数设置
AVPacket pkt; //码流包结构,包蕴编码码流数据
} CodecCtx;
2、FFMpeg编码的紧要步骤:

context.globalAlpha=0.5;

//绘制红色矩形

context.fillStyle=”blue”;

context.fillRect(30,30,50,50);

定时器回调

定时器回调函数在视频开头播报时被调用(当“播放”事件暴发时),然后负责自己周期调用,为每一帧视频完结keying特效。

JavaScript

timerCallback: function() { if (this.video.paused || this.video.ended) {
return; } this.computeFrame(); let self = this; setTimeout(function () {
self.timerCallback(); }, 0); },

1
2
3
4
5
6
7
8
9
10
timerCallback: function() {
    if (this.video.paused || this.video.ended) {
      return;
    }
    this.computeFrame();
    let self = this;
    setTimeout(function () {
        self.timerCallback();
      }, 0);
  },

回调函数首先检查视频是或不是正在播放;即使没有,回调函数不做其余事并立即回到。

下一场调用computeFrame()方法,该措施对脚下视频帧执行chroma-keying特效。

回调函数做的终极一件事就是调用set提姆eout(),来让它自身尽快地被重新调用。在真实环境中,你或许会基于视频的帧率来安装调用频率。

(1)、输入编码参数

//重置全局透明度

拍卖视频帧数据

computeFrame()方法,如下所示,实际上负责抓取每一帧的数目和履行chroma-keying特效。

JavaScript

computeFrame: function() { this.ctx1.drawImage(this.video, 0, 0,
this.width, this.height); let frame = this.ctx1.getImageData(0, 0,
this.width, this.height); let l = frame.data.length / 4; for (let i = 0;
i < l; i++) { let r = frame.data[i * 4 + 0]; let g = frame.data[i
* 4 + 1]; let b = frame.data[i * 4 + 2]; if (g > 100 && r >
100 && b < 43) frame.data[i * 4 + 3] = 0; }
this.ctx2.putImageData(frame, 0, 0); return; }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
computeFrame: function() {
    this.ctx1.drawImage(this.video, 0, 0, this.width, this.height);
    let frame = this.ctx1.getImageData(0, 0, this.width, this.height);
    let l = frame.data.length / 4;
 
    for (let i = 0; i < l; i++) {
      let r = frame.data[i * 4 + 0];
      let g = frame.data[i * 4 + 1];
      let b = frame.data[i * 4 + 2];
      if (g > 100 && r > 100 && b < 43)
        frame.data[i * 4 + 3] = 0;
    }
    this.ctx2.putImageData(frame, 0, 0);
    return;
  }

当它被调用后,video元素将显得近来的录像帧数据,如下所示:

亚洲必赢官网 14

在第2行,视频帧被复制到首个canvas
ctx1的图样上下文中,中度和宽窄值指定为我们事先封存的帧大小的一半。注意,您可以通过传递video元素到绘图上下文的drawImage()方法来绘制当前视频帧。其结果是:

亚洲必赢官网 15

第3行代码通过调用第三个canvas上下文的getImageData()方法,来得到原始图像数据当前视频帧的一个副本。它提供了原有的32位像素图像数据,这样我们就可见进行操作。第4行代码通过将帧图像数据的路程度除以4,来测算图像的总像素数。

第6行代码循环扫描所有像素,获取每个像素的红、绿、蓝值,同时和预约义的背景观进行相比较,那一个背景象将用foo.png中导入的背景图像替换。

被检测成背景的每一个像素,将它的alpha值替换为零,声明该像素是一心透明的。结果,最后的图像背景有些是100%晶莹剔透的,那样在第13行代码,把它被绘制到对象的左右文中时,效果是内容叠加到静态背景上。

通过暴发的图像看起来像这么:

亚洲必赢官网 16

在视频播放时反复这样做,那样一帧接一帧处理,展现出chroma-key的特效。

请看那么些实例。

1 赞 1 收藏
评论

这一步大家可以安装一个特其他安排文件,并将参数按照某个事写入那么些布局文件中,再在先后中剖析这一个布局文件得到编码的参数。假诺参数不多的话,大家得以平素动用命令行将编码参数传入即可。

context.globalAlpha=0;

//那个例子中灰色矩形会表现半透明效果,透过它可以见见下面的新民主主义革命矩形。

有关小编:cucr

亚洲必赢官网 17

新浪今日头条:@hop_ping
个人主页 ·
我的稿子 ·
17

亚洲必赢官网 18

(2)、依照必要初步化需求的FFMpeg结构

globalCompositionOperation表示绘制后的图纸如何与先绘制的图形组成。那些特性的值是字符串,可能的值如下:

source-over(默许值):后绘制的图形位于先绘制的图样上方。

source-in:后绘制的图纸与先绘制的图形重叠的片段可知,两者其余一些完全透明。

source-out:后绘制的图形与先绘制的图形不重叠的有些可见,先绘制的图样完全透明。

source-atop:后绘制的图形与先绘制的图样重叠的一部分可知,先绘制图形不受影响。

destination-over:后绘制的图样位于先绘制的图样下方,后绘制的图片只有此前透明像素下的局地才可知,被挡住的局地不可知。

destination-in:后绘制的图纸位于先绘制的图纸下方,两者不重叠的部分完全透明。就是显示重叠的有些的模样,显示先绘制的图片的颜料。

destination-out:后绘制的图样擦除与先绘制的图片重叠的一对。

destination-atop:后绘制的图样位于先绘制的图片下方,在双边不重叠的地方,先绘制的图纸会变透明。

lighter:后绘制的图片与先绘制的图纸重叠部分的值相加,使该有的变亮。(叠加的是颜色额)

亚洲必赢官网 ,copy:后绘制的图片完全代表与之重叠的先绘制图形。

xor:后绘制的图片与先绘制的图片重叠的一些举行“异或”操作;图像异或,相异为1,相同为0.即重叠部分不显得,不重叠部分显得。

//画目的图

context.beginPath();

context.fillStyle=”red”;

context.fillRect(100,50,100,300);

//画源图

context.beginPath();

context.globalCompositeOperation=”destination-out”;

//context.globalCompositeOperation=”xor”;

context.fillStyle=”blue”;

context.arc(250,200,100,0, Math.PI*2);

第一,所有关乎到编解码的的功力,都不可以不要注册音录像编解码器之后才能利用。注册编解码调用上边的函数:

目标图像:已经停放画布中的绘图

avcodec_register_all();
编解码器注册成功将来,依照指定的CODEC_ID查找指定的codec实例。CODEC_ID经常指定了编解码器的格式,在此地大家使用当前选拔最为广泛的H.264格式为例。查找codec调用的函数为avcodec_find_encoder,其声称格式为:

源图像:打算放置到画布中的绘图

在运用globalCompositionOperation的情景下自然要多测一些浏览器,因为分裂的浏览器对这一个特性的贯彻照旧存在较大的出入。


AVCodec *avcodec_find_encoder(enum AVCodecID id);
该函数的输入参数为一个AVCodecID的枚举类型,再次回到值为一个指向AVCodec结构的指针,用于吸纳找到的编解码器实例。如若没有找到,那么该函数会回到一个空指针。调用方法如下:

二、使用图片

//第一种写法:第三个参数:图片对象;首个参数是开始画的x坐标;第多个参数:开端画的y的坐标;

//context.drawImage(img,0,0);

//第两种写法:第一个参数:图片对象;第三个参数:是发端画的x坐标;第四个参数:起始画的y的坐标;第多个参数:图片绘制到canvas上的幅度;第八个参数:图片绘制到canvas上的万丈;

//context.drawImage(img,0,0,200,200);

//第二种写法(裁剪):首个参数:图片对象;第二七个参数在原图上要裁剪的起初x、y的坐标;第四、八个参数:在原图上要裁剪的宽和高;第六、多少个参数:要放置canvas画布上的初阶x、y坐标;第八九个参数:要到canvas画布上的宽和高;

context.drawImage(img,100,100,100,100,50,50,300,300);

var  canvas=document.getElementById(“myCanvas”);

var   context=canvas.getContext(“2d”);

/* find the mpeg1 video encoder */
ctx.codec = avcodec_find_encoder(AV_CODEC_ID_H264);
//根据CODEC_ID查找编解码器对象实例的指针
if (!ctx.codec)
{
fprintf(stderr, “Codec not found\n”);
return false;
}
AVCodec查找成功后,下一步是分配AVCodecContext实例。分配AVCodecContext实例须求大家前面查找到的AVCodec作为参数,调用的是avcodec_alloc_context3函数。其阐明形式为:

var   img= newImage();

AVCodecContext *avcodec_alloc_context3(const AVCodec *codec);
其特点同avcodec_find_encoder类似,再次回到一个指向AVCodecContext实例的指针。若是分配失利,会回去一个空指针。调用格局为:

img.src=”img/20150821130732_anQeR.jpeg”;

ctx.c = avcodec_alloc_context3(ctx.codec); //分配AVCodecContext实例
if (!ctx.c)
{
fprintf(stderr, “Could not allocate video codec context\n”);
return false;
}
需注意,在分配成功之后,应将编码的参数设置赋值给AVCodecContext的成员。

img.onload=function(){

明天,AVCodec、AVCodecContext的指针都早已分配好,然后以那多少个对象的指针作为参数打开编码器对象。调用的函数为avcodec_open2,申明格局为:

context.drawImage(img,100,100,100,100,50,50,300,300);

int avcodec_open2(AVCodecContext *avctx, const AVCodec *codec,
AVDictionary **options);
该函数的前七个参数是大家正好创制的多少个目标,第多个参数为一个字典类型对象,用于保存函数执行进度总不可能识其余AVCodecContext和其它一些私房设置选项。函数的重回值表示编码器是还是不是打开成功,若成功重返0,战败重临一个负数。调用方式为:

}

if (avcodec_open2(ctx.c, ctx.codec, NULL) < 0)
//根据编码器上下文打开编码器
{
fprintf(stderr, “Could not open codec\n”);
exit(1);
}
下一场,大家需求处理AVFrame对象。AVFrame表示视频原始像素数据的一个器皿,处理该品种数据要求三个步骤,其一是分配AVFrame对象,其二是分配实际的像素数量的蕴藏空间。分配对象空间类似于new操作符一样,只是需要调用函数av_frame_alloc。假使失利,那么函数重返一个空指针。AVFrame对象分配成功后,须要安装图像的分辨率和像素格式等。实际调用进程如下:

综上所述应用drawImage( )和此外艺术,可以对图像举办各个基本操作。而操作的结果可以由此toDataURL( )方法取得。但是有一个不一样,即图像不可能来自其他域。假若图像来自其余域,调用toDataURL( )会抛出错误。

ctx.frame = av_frame_alloc(); //分配AVFrame对象
if (!ctx.frame)
{
fprintf(stderr, “Could not allocate video frame\n”);
return false;
}
ctx.frame->format = ctx.c->pix_fmt;
ctx.frame->width = ctx.c->width;
ctx.frame->height = ctx.c->height;
分配像素的存储空间须求调用av_image_alloc函数,其申明格局为:

canvas提供了toDataURL的接口,可以方便的将canvas画布转化成base64编码的image。近来帮衬的最好的是png格式,jpeg格式的现世浏览器基本也支撑,不过匡助的不是很好。

int av_image_alloc(uint8_t *pointers[4], int linesizes[4], int
w, int h, enum AVPixelFormat pix_fmt, int align);
该函数的多个参数分别代表AVFrame结构中的缓存指针、各类颜色分量的宽度、图像分辨率(宽、高)、像素格式和内存对其的尺寸。该函数会再次回到分配的内存的深浅,即使败北则赶回一个负值。具体调用格局如:

//我们成立一个画布,在上头做一些绘制,然后试着把它保存为地点图片。

var  can = document.getElementById(‘canvas’);

var  ctx = can.getContext(‘2d’);

var   imgA = new Image();

imgA.src =’

/uploads/2013/09/css_yangshijiance.png’;

imgA.onload = function() {

ctx.drawImage(imgA, -25, 0, imgA.width, imgA.height);

ctx.restore();

};

var   imgB = new Image();

imgB.src = ‘

/uploads/2013/09/canvas_chroma.png’;

imgB.onload = function() {

ctx.globalAlpha = 0.1

ctx.drawImage(imgB, -100, -75, imgB.width, imgB.height);

ctx.restore();

};

function toImage(returnType) {

ret = av_image_alloc(ctx.frame->data, ctx.frame->linesize,
ctx.c->width, ctx.c->height, ctx.c->pix_fmt, 32);
if (ret < 0)
{
fprintf(stderr, “Could not allocate raw picture buffer\n”);
return false;
}
(3)、编码循环体

var dataURL = document.getElementById(‘canvas’).toDataURL(“image/png”);

// The returnType argument specifies how to get the

// the image.  ‘obj’ will set the source to an image element.

// ‘window’ will open a new window and display the image.

// ‘download’ will prompt the user to save the image.

switch(returnType) {

case ‘obj’:

var imgObj = new Image();

到此截至,大家的预备干活早就大概形成,上面先导实践实际编码的巡回进度。用伪代码大约表示编码的流水线为:

imgObj.src = dataURL;

document.getElementById(‘graphics’).appendChild(imgObj);

break;

case ‘window’:

window.open(dataURL, “Canvas Image”);

break;

case ‘download’:

dataURL = dataURL.replace(“image/png”, “image/octet-stream”);

while (numCoded < maxNumToCode)
{
read_yuv_data();
encode_video_frame();
write_out_h264();
}
其中,read_yuv_data部分间接利用fread语句读取即可,只须要精晓的是,四个颜色分量Y/U/V的地方分别为AVframe::data[0]、AVframe::data[1]和AVframe::data[2],图像的大幅度分别为AVframe::linesize[0]、AVframe::linesize[1]和AVframe::linesize[2]。须要专注的是,linesize中的值一般指的是stride而不是width,也就是说,像素保存区可能是带有一定幅度的无用边区的,在读取数据时需注意。

document.location.href = dataURL;

break;

}

}

十全十美的气象是页面上有七个点击链接:

1、Image Tag

点击会有一张图片插入在网页中。

2、New Window

打开一个新的窗口,并显示一个PNG格式的图纸

3、Download

下载保存一张PNG个格式的图样

很不好,点击并没有反映,为何吗?小编做了众多试验,原因出在图纸渲染上,canvas上一旦添加图片,toDataURL()将失效,获取不到canvas新闻。通过简单几步来证实那么些题目。

把js脚本中图纸渲染的一部分去除,A和B图。为了便于观望,在画布上画一个简便的矩形,填充颜色:

ctx.fillStyle = ‘Red’;

ctx.strokeStyle = ‘Green’;

ctx.beginPath();

ctx.rect(20, 20, 100, 100);

ctx.stroke();

ctx.fill();

如此这般画布上便显得为一个革命矩形,格式为PNG


编码前其它索要做到的操作时起先化AVPacket对象。该对象保存了编码之后的码流数据。对其展开开首化的操作分外不难,只须要调用av_init_packet并传到AVPacket对象的指针。随后将AVPacket::data设为NULL,AVPacket::size赋值0.

三、裁剪

var  canvas=document.getElementById(“myCanvas”);

var  context=canvas.getContext(“2d”);

//绘制一个三角形

context.beginPath();

context.moveTo(200,200);

context.lineTo(250,200);

context.lineTo(225,150);

context.closePath();

context.stroke();

成功将原有的YUV像素值保存到了AVframe结构中事后,便足以调用avcodec_encode_video2函数举办实际的编码操作。该函数可谓是全方位工程的宗旨所在,其声称情势为:

//调用裁剪

int avcodec_encode_video2(AVCodecContext *avctx, AVPacket *avpkt,
const AVFrame *frame, int *got_packet_ptr);
其参数和重返值的意思:

context.clip();

var  img= newImage();

img.src=”img/20150821130732_anQeR.jpeg”;

img.onload=function() {

context.drawImage(img,0,0);

}

avctx: AVCodecContext结构,指定了编码的一部分参数;
avpkt: AVPacket对象的指针,用于保存输出码流;
frame:AVframe结构,用于传入原始的像素数量;
got_packet_ptr:输出参数,用于标识AVPacket中是不是曾经有了总体的一帧;
再次来到值:编码是或不是成功。成功重临0,失败则赶回负的错误码
由此输出参数*got_packet_ptr,大家可以判定是或不是相应一帧完整的码流数据包输出,假若是,那么可以将AVpacket中的码流数据输出出来,其地址为AVPacket::data,大小为AVPacket::size。具体调用形式如下:

//你上面画的是什么样形状,裁剪出来的就是怎么着样子


/* encode the image */
ret = avcodec_encode_video2(ctx.c, &(ctx.pkt), ctx.frame,
&got_output); //将AVFrame中的像素新闻编码为AVPacket中的码流
if (ret < 0)
{
fprintf(stderr, “Error encoding frame\n”);
exit(1);
}

四、使用图像数据

var  canvas=document.getElementById(“myCanvas”);

var   context=canvas.getContext(“2d”);

if (got_output)
{
//得到一个总体的编码帧
printf(“Write frame %3d (size=%5d)\n”, frameIdx, ctx.pkt.size);
fwrite(ctx.pkt.data, 1, ctx.pkt.size, io_param.pFout);
av_packet_unref(&(ctx.pkt));
}
为此,一个一体化的编码循环提就可以使用上边的代码完成:

//getImageData()取的原本图像数据

/* encode 1 second of video */
for (frameIdx = 0; frameIdx < io_param.nTotalFrames; frameIdx++)
{
av_init_packet(&(ctx.pkt)); //初始化AVPacket实例
ctx.pkt.data = NULL; // packet data will be allocated by the encoder
ctx.pkt.size = 0;

//有四个参数:第一二个参数,开首得到像素的x,y坐标,第三八个参数,获取像素点的宽高。

//var  ImageData=context.getImageData(0,0, img.width, img.height);

fflush(stdout);

Read_yuv_data(ctx, io_param, 0);        //Y分量
Read_yuv_data(ctx, io_param, 1);        //U分量
Read_yuv_data(ctx, io_param, 2);        //V分量

ctx.frame->pts = frameIdx;

/* encode the image */
ret = avcodec_encode_video2(ctx.c, &(ctx.pkt), ctx.frame, &got_output); //将AVFrame中的像素信息编码为AVPacket中的码流
if (ret < 0) 
{
    fprintf(stderr, "Error encoding frame\n");
    exit(1);
}

if (got_output) 
{
    //获得一个完整的编码帧
    printf("Write frame %3d (size=%5d)\n", frameIdx, ctx.pkt.size);
    fwrite(ctx.pkt.data, 1, ctx.pkt.size, io_param.pFout);
    av_packet_unref(&(ctx.pkt));
}

此处重返的目的是getImageData()的实例,每个getImageData()对象都有七个属性:width、height、data。

} //for (frameIdx = 0; frameIdx < io_param.nTotalFrames;
frameIdx++)
(4)、收尾处理

width和height表示访问像素区域大小

倘使大家就此为止编码器的全部运行进程,我们会发现,编码已毕将来的码流相比原来的数码少了一帧。那是因为大家是根据读取原始像素数据甘休来判断循环截至的,那样结尾一帧还保存在编码器中一向不输出。所以在闭馆所有解码进程在此以前,大家亟须继续执行编码的操作,直到将最后一帧输出停止。执行那项操作依然调用avcodec_encode_video2函数,只是意味着AVFrame的参数设为NULL即可:

//其中data属性是一个数组,保存着图像中每一个像素的数目。

/* get the delayed frames */
for (got_output = 1; got_output; frameIdx++)
{
fflush(stdout);

//在data数据中,每一个像素用4个因平昔保存,分别表示红、绿、蓝和透明度。

ret = avcodec_encode_video2(ctx.c, &(ctx.pkt), NULL, &got_output);      //输出编码器中剩余的码流
if (ret < 0)
{
    fprintf(stderr, "Error encoding frame\n");
    exit(1);
}

if (got_output) 
{
    printf("Write frame %3d (size=%5d)\n", frameIdx, ctx.pkt.size);
    fwrite(ctx.pkt.data, 1, ctx.pkt.size, io_param.pFout);
    av_packet_unref(&(ctx.pkt));
}

//数组中的每个元素都是介于0和255里头的,可以平素访问到原来图像数据,

} //for (got_output = 1; got_output; frameIdx++)
尔后,大家就足以按陈设关闭编码器的次第零部件,停止所有编码的流水线。编码器组件的自由流程可类比建立流程,需求关闭AVCocec、释放AVCodecContext、释放AVFrame中的图像缓存和对象自我:

//就可见以种种法子来操作这么些数据。

var  img= newImage();

img.src=”img/20150821130732_anQeR.jpeg”;

img.onload=function() {

context.drawImage(img,0,0);

avcodec_close(ctx.c);
av_free(ctx.c);
av_freep(&(ctx.frame->data[0]));
av_frame_free(&(ctx.frame));
3、总结

var   ImageData=context.getImageData(0,0, img.width, img.height);

利用FFMpeg进行摄像编码的机要流程如:

var   data=ImageData.data;

率先分析、处理输入参数,如编码器的参数、图像的参数、输入输出文件;
建立全方位FFMpeg编码器的各个零部件工具,顺序依次为:avcodec_register_all
-> avcodec_find_encoder -> avcodec_alloc_context3 ->
avcodec_open2 -> av_frame_alloc -> av_image_alloc;
编码循环:av_init_packet -> avcodec_encode_video2(两次) ->
av_packet_unref
闭馆编码器组件:avcodec_close,av_free,av_freep,av_frame_free

//注意:每一回循环控制变量i都递增4,在取得每个像素的红、绿、蓝颜色值后,

//总计出她们的平均值,再把这一个平均值设置为各种颜色的值,

//结果就是去掉了每个像素的颜色,只保留了亮度接近的灰度值.(用五彩变黑白)

for(var i=0; i<data.length; i+=4){

var  r=data[i];

var  g=data[i+1];

var  b=data[i+2];

//求rgb的平均值,

var  gray=(r+g+b)/2;

//设置颜色值

data[i]=gray;

data[i+1]=gray;

data[i+2]=gray;

}

//putImageData()方法把图像数据绘制到画布上,有三个参数

//第四个参数,获取ImageData,第二八个参数,要放手画布上的x,y坐标

context.putImageData(ImageData,0,0);

}


五、canvas录像处理

function animation( ){

//video.ended 属性再次来到音频/视频是还是不是已截止。再次回到值:布尔值true|false。假设播放已终止,则赶回 true。否则再次来到 false。

if(!video.ended){

//将视频的每一帧,绘制在canvas上

context.drawImage(video,0,0,canvas.width,canvas.height);

window.requestAnimationFrame(animate);

}

}

//当视频可以播放时,举办广播调用循环

//video的oncanplay事件类似于图像的onload,加载成功之后

//oncanplay 事件在用户可以伊始播报视频/音频(audio/video)时接触。

//object.oncanplay=function(){myScript};

//object.addEventListener(“canplay”,myScript);

video.oncanplay=function(e){

video.play( );

window.requestAnimationFrame(animate);

}


六、canvas动画

最原始的您还足以使用window.set提姆out()或者window.setInterval()通过不断更新元素的情状地点等来落到实处动画,前提是画面的创新频率要达标每秒60次才能让眼睛看到流畅的卡通片效果。

window.requestAnimationFrame()通过递归调用同一方法来不断更新画面以已毕动起来的效果,但它优于set提姆(Tim)eout/setInterval的地方在于它是由浏览器专门为动画片提供的API,在运转时浏览器会自动优化措施的调用,并且只要页面不是激活状态下的话,动画会自动刹车,有效节约了CPU开支。

撤回该次动画:能够直接调用,也得以透过window来调用,接收一个函数作为回调,重回一个ID值,通过把这些ID值传给window.cancelAnimationFrame()可以裁撤该次动画。

window.requestAnimationFrame()方法用于告诉浏览器,你想在浏览器的下个重绘
此前来执行一个动画片或者举行浏览器通过调用一个一定的函数来更新动画的请求。该方法会在下次再次回到以前实施一个看成参数的回调函数。

window.requestAnimationFrame
是专门为落到实处高性能的帧动画而规划的一个API,如今已在多个浏览器获得了帮忙,包含IE10+,Firefox,Chrome,Safari,Opera等,在运动装备上,ios6之上版本以及IE
mobile
10上述也帮忙requestAnimationFrame,唯一比较遗憾的是现阶段安卓上的原生浏览器并不匡助requestAnimationFrame,可是对requestAnimationFrame的帮助应该是必定了,安卓版本的chrome
16+也是永葆requestAnimationFrame的。

例子window.requestAnimationFrame = window.requestAnimationFrame ||
window.mozRequestAnimationFrame ||window.webkitRequestAnimationFrame ||
window.msRequestAnimationFrame;


七、完毕四个小球随机运动,用面向对象的法门

var   canvas=document.getElementById(“myCanvas”);

var   context=canvas.getContext(“2d”);

//圆是一个类,就是目的只有一个,就是圆

functionCircle(x,y,r,speedX,speedY,color) {

//所有的性能

this.r=r;

this.x=x;

this.speedX=speedX;

this.speedY=speedY;

this.y=y;

this.color=color;

}

//在原型上写方法,

//首个措施,画圆

Circle.prototype.draw=function() {

context.beginPath();

context.fillStyle=this.color;

context.arc(this.x, this.y, this.r,0, Math.PI*2);

context.fill();

}

//第三个形式,运动

Circle.prototype.move=function() {

//那里改变x递加的值,能够转移运动速度

this.x+=this.speedX;

this.y+=this.speedY;

if(this.x>=canvas.width-this.r||this.x<=this.r) {

this.speedX*= -1;

}

if(this.y>=canvas.height-this.r||this.y<=this.r) {

this.speedY*= -1;

}

}

//举办实例化操作

//已毕同时出现三个小球,须要同时实例化出几个对象

//储存new出来的实例化对象数组

var   arr=[ ];

//来众四个小球

for(var  i=0; i<100; i++) {

//设置一个自由的半径

var   R=randomNum(30,5);

//随机地点

var   X=randomNum(canvas.width-R, R);

var    Y=randomNum(canvas.height-R, R);

//随机速度

var   speedX=randomNum(8,1);

var    speedY=randomNum(8,1);

//随机颜色

var    
COLOR=”rgb(“+randomNum(255,0)+”,”+randomNum(255,0)+”,”+randomNum(255,0)+”)”;

//将对像实例化

var    newCircle= newCircle(X, Y, R, speedX, speedY, COLOR);

arr.push(newCircle)

}

moveCircle();

//定义一个实施动画的函数

function    moveCircle() {

//先清理画布

context.clearRect(0,0, canvas.width, canvas.height);

//循环执行实例化对象的数组

for(var  i=0; i<arr.length;i++){

arr[i].draw();

arr[i].move();

}

//执行动画

window.requestAnimationFrame(moveCircle);

}

//定义一个即兴数的函数

functionrandomNum(max,min) {

returnparseInt(Math.random()*(max-min+1)+min);

}

网站地图xml地图