![]() |
|
Цифровые технологии, программирование и сайтостроительство Полупрофессиональный подраздел. Подробное описание раздела находится в прикреплённой теме. |
![]() |
|
Опции темы |
![]() |
#1 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Цифровизация жизни, большие данные и машинное обучение
В 2002 г. количество цифровых и аналоговых данных в мире людей сравнялось - наступила цифровая эра...
дальше объём цифры будет только расти, соответственно доля аналоговых данных в общем объёме снижаться.... Какие тренды, тенденции и подходы возникают и будут возникать в связи с этим? И вообще, как с этим жЫть? ![]() ↓↓ картинка )))
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
![]() |
![]() |
![]() |
#2 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Больши́е да́нные (англ. big data, [ˈbɪɡ ˈdeɪtə]) — обозначение структурированных и неструктурированных данных огромных объёмов и значительного многообразия, эффективно обрабатываемых горизонтально масштабируемыми программными инструментами, появившимися в конце 2000-х годов и альтернативных традиционным системам управления базами данных и решениям класса Business Intelligence[1][2][3].
В широком смысле о «больших данных» говорят как о социально-экономическом феномене, связанном с появлением технологических возможностей анализировать огромные массивы данных, в некоторых проблемных областях — весь мировой объём данных, и вытекающих из этого трансформационных последствий
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
![]() |
![]() |
![]() |
#3 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
В качестве определяющих характеристик для больших данных традиционно выделяют «три V»: объём (англ. volume, в смысле величины физического объёма), скорость (velocity в смыслах как скорости прироста, так и необходимости высокоскоростной обработки и получения результатов), многообразие (variety, в смысле возможности одновременной обработки различных типов структурированных и полуструктурированных данных)[5][6]; в дальнейшем возникли различные вариации и интерпретации этого признака
Набор признаков VVV (volume, velocity, variety) изначально выработан Meta Group в 2001 году вне контекста представлений о больших данных как об определённой серии информационно-технологических методов и инструментов, в нём, в связи с ростом популярности концепции центрального хранилища данных для организаций, отмечалась равнозначимость проблематик управления данными по всем трём аспектам[24]. В дальнейшем появились интерпретации с «четырьмя V» (добавлялась veracity — достоверность, использовалась в рекламных материалах IBM[25]), «пятью V» (в этом варианте прибавляли viability — жизнеспособность, и value — ценность[26]), и даже «семью V» (кроме всего, добавляли также variability — переменчивость, и visualization[27]). IDC интерпретирует «четвёртое V» как value c точки зрения важности экономической целесообразности обработки соответствующих объёмов в соответствующих условиях, что отражено также и в определении больших данных от IDC[28]. Во всех случаях в этих признаках подчёркивается, что определяющей характеристикой для больших данных является не только их физический объём, но другие категории, существенные для представления о сложности задачи обработки и анализа данных.
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
![]() |
![]() |
![]() |
#4 | |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Цитата:
Следующие 50 лет каждый человек будет вынужден решать именно этот вопрос: КАК С ЭТИМ ЖИТЬ?. Так сказать - всеобъемлюще всеохватывающий тренд. ----- В канву темы: YouTube Канал: Четко Юваль Ной Харари - Вызовы 21-го века [Берлин - Июль 2018] Время просмотра: 31:32 |
|
![]() |
![]() |
![]() |
#5 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
был на семинаре по большим данным... выступал представитель мегафона...
короче, мы у сотовых компаний под колпаком, плотно и навсегда... у них строится информационный портрет человека - как часто пополняет счёт, какое финансовое состояние, где и когда бывает (геопозиционирование), на чём передвигается (общ. транспорт, личный авто, такси), ближайшее окружение, какие темы читает, поведение в интернете и соцсетях, политические взгляды, интересы... и ты ды, и ты пы...
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
![]() |
![]() |
![]() |
#6 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Машинное обучение (англ. machine learning, ML) — класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение в процессе применения решений множества сходных задач. Для построения таких методов используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме.
Различают два типа обучения:
Многие методы индуктивного обучения разрабатывались как альтернатива классическим статистическим подходам. Многие методы тесно связаны с извлечением информации (англ. information extraction), интеллектуальным анализом данных (data mining).
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
![]() |
![]() |
![]() |
#7 | |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Цитата:
-------------------------- В копилку темы: Стартап HUMM https://hightech.fm/2018/11/09/startap-humm |
|
![]() |
![]() |
![]() |
#8 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
да, надо ввести такой тег:"в копилку темы" )))
так вот, в копилку ))) Уберизация экономики Уберизация — термин, производный от названия компании Uber. Компания разработала мобильное приложение, которое позволяет потребителям подавать запросы на поездки, которые затем переадресуются водителям компании, использующим свои личные автомобили[1][2]. Термин «уберизация» относят к использованию компьютерных платформ, таких как мобильные приложения, для проведения пиринговых сделок между клиентами и поставщиками услуг, что часто позволяет отказаться от услуг традиционных плановых корпораций. Модель отличается существенно меньшими эксплуатационными расходами по сравнению с традиционным бизнесом[3][4][5]. История Уберизация стала возможной благодаря расцвету цифровых технологий, заложенных в XX веке и получивших дальнейшее развитие в XXI веке. Такие компании как Uber, GrabCar и сервис Airbnb позволяют потенциальным клиентам устанавливать непосредственный контакт с потенциальными поставщиками услуг. Феномен уберизации характеризуется устранением или квази-устранением посредников.[5] Уберизованные бизнес-форматы имеют следующие признаки:[6]
Уберизация проникла пока в ограниченное, но непрерывно растущее число отраслей. Например, появление сервиса Airbnb кардинально изменило гостиничную индустрию, которая в одном только Нью-Йорке оценивается более чем в 2,1 миллиарда долларов[7]. В то время, как уберизация подвергается критике как потенциальный источник хаоса и, соответственно, возможная причина подрыва существующей корпоративной модели в гостиничном и транспортном бизнесе, компании, действующие в таких отраслях, как маркетинг, могут использовать данный феномен для сокращения расходов и начать предоставлять клиентам более специализированные услуги[3]. Примеры Среди ярких примеров и проявлений уберизации можно назвать:
Уберизацию часто критикуют за то, что она способствует упадку трудоёмких производств, что, в свою очередь, приведёт к сокращению рабочих мест[12][13]. Уберизация также вызывает обеспокоенность государственных регуляторов и органов налогообложения, поскольку оформление принципов совместного потребления в виде конкретных приложений приводит к спорам по поводу того, каким образом поставщика услуг, использующего в своей работе уберизированную платформу, можно, при ненадлежащем качестве услуг, привлечь к ответственности, и как отслеживать исполнение им налоговых обязательств[14].
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
![]() |
![]() |
![]() |
#9 |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Да. Давай в копилку нафантазируем ситацию.)))
Предположим я тебе звоню и говорю: квит, я заняла позицию менеджера клиентской базы большой сети АЗК с магазинами, кафе и туалетами. У меня есть тройка стратегических и под ними список промежуточных задач, которые я намерена реализовать. Я сориентировалась на местности и мои выводы такие: все относительно не плохо и есть что улучшать. С точки зрения перспективы на 5 лет я используемые технологии считаю устаревшими, а некоторые участки критично опасными. Если тут 2 года ничего не менять и заниматься только покраской бордюров и проклейкой асфальтов следочками, через года 3 уже не станет смысла что-то улучшать. Система займет уверенное место в нише и позицию на рынке тех бизнесов, которые живут в режимах между тремя задачами: продать как можно больше, продать любой ценой, хоть что-нибудь продать. Конечно же моя оценка сильно кривая, но никакой другой, желательно не моей, у меня нет. Что мне сделать? Если я знаю, что могу обратиться к тебе за профессиональной помощью. ---- Как тебе эта идея? )) |
![]() |
![]() |
![]() |
#10 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
одобряю
![]() а если это ещё и как-то монетизируется - поддерживаю всеми конечностями!!! ![]()
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
![]() |
![]() |
![]() |
#11 |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Из того что я могу возможность наблюдать, поток разливаемых по бакам ГСМ монетизируется стабильно. Теперь размышляю как стабильно монетизировать поток пополнения клиентской базы. До этого его нужно наладить.
|
![]() |
![]() |
![]() |
#12 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
и, оставаясь в рамках заявленной темы, как сюда прикрутить большие данные??? )))
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
![]() |
![]() |
![]() |
#13 | |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Цитата:
Понимаешь?))) Это очень интересная задача: с одной стороны интересно, чтоб их как можно больше и регулярнее приехало, заправилось, купило, поело и попило. С другой стороны становится еще более важно, чтобы они не сильно задерживались, чтобы на задерживали поток. Нужно пошаговое решение по обработке больших массивов данных. Регулярной обработке в необходимом качестве. Как-то так. |
|
![]() |
![]() |
![]() |
#14 | ||
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
тут можно разделить на две крупные задачи
Цитата:
поиск оптимального места опять же, где поставить новую азс, или какую перекупить у конкурентов ![]() Цитата:
резюме в целом - задачи интересные, ищи инвесторов )))
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
||
![]() |
![]() |
![]() |
#15 | |||
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Цитата:
Цитата:
Цитата:
Я понимаю что система обработки данных может гораздо быстрее и эффективнее выдавать мне аналитическую справку по группам клиентов. Но мне (как менеджеру клиентской базы) хотелось бы двух моментов: 1) возможности визуализировать в картинках действительное поведение конкретного клиента в конкретный момент и конкретном месте; 2) иметь необходимые данные для того, чтобы строить гипотезы. А вот за какое время и какими бюджетами это можно было бы реализовать на этих масштабах, я пока не понимаю. |
|||
![]() |
![]() |
![]() |
#16 | |
Шволочь. И провокатор.
Регистрация: 12.02.2006
Сообщений: 31,362
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Цитата:
телефон кнопочный. планшет с оторванной гео и вайфаятиной. тарифы предоплатные и доплачивать не требуется. социалка телеграм рабочий. маленькие какие т бигдаты
__________________
... Survivors will be shot again. |
|
![]() |
![]() |
![]() |
#17 | |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Цитата:
отключил геолокацию - это ты отключил джипиэс... но триангуляция по базовым станциям никуда не делась... и пусть точность ниже на два порядка (грубо берём 1-5 м для спутника и 200-500 м для соты), для определения районов твоего местонахождения этого вполне достаточно... т.е. определить, где у тебя дом, где работа, где школа/детсад твоих детей, где отдыхаешь после работы, как проводишь выходные - вполне можно ))) дальше идём... тарифы предоплатные и доплачивать не требуется... это тоже информация о твоём финансовом состоянии и платёжном поведении... ты же понимаешь, что отсутствие информации - тоже информация ))) так же как и, к слову, модель телефона... телефон кнопочный - ага, понятно в какую группу потребителей тебя отнести... в корреляции с другими параметрами - уточнения... ))) социалка телеграм рабочий... всё равно телефонные звонки делаешь - тем самым уже определил свой круг общения... пусть и с зоной неопределённости... по параметрам твоего окружения ещё уточняется твой информационный портрет... ![]() пусть он будет неточный и с допусками - по ЗБЧ и ЦПТ свой вклад в определение характеристик и свойств генеральной совокупности ты сделал )))
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! Последний раз редактировалось квит; 22.11.2018 в 06:42. |
|
![]() |
![]() |
![]() |
#18 |
Шволочь. И провокатор.
Регистрация: 12.02.2006
Сообщений: 31,362
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
квит, ты не услышал. маленькие бигдаты вышли.
телефон кста - не угадают. основное у него - умение плавать и держать заряд под месяц. такшта опять промах. ну и да. главное. с предыдущего телефона присутствовала и социалка. и гео. и всё. нет больше. такшта - ломаются энти бигдаты. а главное - как что случается и телефоны с планшетами выключаются. вместе с полной сменой районов миграции и изменением поведения. а из среднетекущего можно выяснить только маршрут дом-работа. удачи.
__________________
... Survivors will be shot again. |
![]() |
![]() |
![]() |
#19 | |
Олдскульный чувак
Регистрация: 29.04.2011
Сообщений: 16,443
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Цитата:
Таких людей надо брать на заметку в первую очередь.
__________________
|
|
![]() |
![]() |
![]() |
#20 |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
|
![]() |
![]() |
![]() |
#21 | |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
не, ты тоже не услышал )))
ты смотришь с точки зрения интереса спецслужб к единичному человеку. а я - про интерес коммерческих структур к совокупности человеков. а для них один шифрующийся экземпляр - в рамках стат погрешности у остальных то десятков-сотен тысяч нет плавающего телефона и подключены гео... а самое главное - банковская карта привязана к номеру телефона... ![]() Цитата:
смотри сам - по пути с работы домой периодически пропадает сигнал - нырнул в метро - сигнал не пропадает, но движешься с остановками - едешь на наземном общественном - движешься плавно. или наоборот стоишь долго - едешь на личном авто - перед этим был звонок по номеру из списка - вызвал такси уже можно выдвигать гипотезы о твоем финансовом положении... список контактов у тебя в телефоне есть - очертили круг твоих знакомых, первого уровня, второго, третьего... у них у всех отключены гео и финансы? скорее всего нет... значит можно уточнять гипотезу о тебе...
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
|
![]() |
![]() |
![]() |
#22 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
того товарища из мегафона спросили - а законно ли это, сбор персональных данных и прочей личной информации...
а он ответил - а мы персональную информацию не отдаём... а вот агрегированными данными, по совокупности - они готовы торговать направо-налево... правда ценник там очень на крупный бизнес... мы тогда делали проект, были нужны данные о транспортном поведении жителей в рамках муниципального района... я подошёл к этому мужику на предмет посотрудничать... он цену за данные назвал в несколько раз выше, чем вся стоимость проекта... ну я и отвалил несолоно хлебавши... ))) а крупный ритейл, думаю, может раскошелиться... )))
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
![]() |
![]() |
![]() |
#23 |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Все, я кажется придумала. Не в рамках задачи по сетке АЗК. Она учтена по умолчанию.
Я придумала как мне решить задачу, а именно - первый опыт работы студента или выпускника ВУЗ сроком не более 3-6 мес, который будет автоматом попадать на работу в компанию, которая в нем заинтересована. Сэнкс, квит! Риали сэнкс. |
![]() |
![]() |
![]() |
#24 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
близкие темы:
http://project.megarulez.ru/forums/s...ad.php?t=28423
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
![]() |
![]() |
![]() |
#25 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
еще про ИИ
http://project.megarulez.ru/forums/showthread.php?t=27373 http://project.megarulez.ru/forums/s...ad.php?t=27400
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
![]() |
![]() |
![]() |
#26 |
Расширяю чужие заблуждени
Регистрация: 14.03.2006
Сообщений: 8,433
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Есть молодой человек, 23 года, умненький, без образования увы. Хочет программировать и что то умеет. Никому для опытов не нужен?
|
![]() |
![]() |
![]() |
#27 |
Per aspera ad Astra
Регистрация: 13.02.2008
Сообщений: 5,584
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Кое-что по поводу сбора личной информации можете посмотреть здесь, кому интересно:
__________________
Каждый дурак знает, что до звезд не достать, а умные, не обращая внимания на дураков, пытаются. |
![]() |
![]() |
![]() |
#28 | |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,015
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
восстание машин, исключение людей из процесса общения
Цитата:
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
|
![]() |
![]() |
![]() |
#29 |
Per aspera ad Astra
Регистрация: 13.02.2008
Сообщений: 5,584
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Кому нужно/интересно получить базовую информацию по грядущей цифровой трансформации, могу порекомендовать два обучающих курса, оба бесплатные. Они именно по большей части про цифровизацию производств, а не изменения в быту.
1) Технологии «Фабрик Будущего» https://openedu.ru/course/spbstu/FUTFACT/ 2) Цифровое производство. Первый онлайн-практикум для сотрудников промышленных предприятий. https://proizvodstvo.zyfra.com/ Если порыться, то можно ещё подобные найти.
__________________
Каждый дурак знает, что до звезд не достать, а умные, не обращая внимания на дураков, пытаются. |
![]() |
![]() |
![]() |
#30 |
Нетолерантный социопат
Регистрация: 12.04.2008
Адрес: Центр циклона
Сообщений: 21,903
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
Что такое право на забвение и как им воспользоваться?
Право на забвение позволяет человеку потребовать от поисковиков удалить свои персональные данные из общего доступа. Речь идет о ссылках на те сведения, которые, по мнению человека, могут нанести ему вред. Сюда относятся устаревшие, неуместные, неполные, неточные или избыточные данные, а также информация, законные основания для хранения которой исчезли с течением времени.
Чтобы воспользоваться правом на забвение, обратитесь в службу поддержки поисковой системы, например Яндекса (https://yandex.ru/support/abuse/trou.../oblivion.html), Google (https://support.google.com/legal/con...duct=websearch) или Mail (https://go.mail.ru/support/oblivion/). Поисковики принимают решение об удалении определенных страниц из выдачи без участия РКН. Обжаловать их решение можно в суде. Перед обращением нужно подготовить: ✅ Списки ссылок, содержащих устаревшую, недостоверную и противозаконную информацию о вас. ✅ Документы удостоверяющие личность. ✅ Доказательства вашей позиции. Например, подтверждение недостоверности или неактуальности данных, опровержения материалов, порочащих репутацию компании, или решение суда о клевете. В следующие 10 дней поисковик вправе запросить у вас дополнительные сведения. У вас также будет 10 дней на их сбор, систематизацию и отправку. Если у вас возникли сложности с подготовкой заявления, вам помогут юристы Центра правовой помощи гражданам в цифровой среде (создан в 2021 году по инициативе Роскомнадзора). Центр сформировал успешную практику по защите прав граждан, которые столкнулись с незаконным распространением их персональных данных. Если вы или ваши близкие столкнулись с незаконным распространением или обработкой своих персональных данных в Интернете, обращайтесь в Центр правовой помощи гражданам в цифровой среде по телефону +7 (499) 550-80-03 или по электронной почте 4people@grfc.ru. https://t.me/rkn_tg/432
__________________
Сочту за честь называть себя русским. (с) Я Я не участвую в войне. Война - участвует во мне. (с) Зеркала & Отражения, Nota Bene! |
![]() |
![]() |